ShigaLex Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Рекурсивная загрузка веб-сайтов; оффлайн-браузеры — общая тема по вопросу; если вы еще не определились с выбором инструмента, то вам туда. HTTrack Website Copier   HTTrack — свободное приложение для рекурсивной загрузки веб-сайтов, т.е. для той задачи, которую решают Wget в режиме зеркалирования (--mirror) и проприетарные Teleport Pro и Offline Explorer. Основной интерфейс — неинтерактивный командный, но доступно и по меньшей мере две графические оболочки: виндовый WinHTTrack и браузерный WebHTTrack.   | Офсайт | Википедия | Фрешмит | Ман |   Документация: • Httrack Users Guide by Fred Cohen — довольно длинный учебник • FAQ & Troubleshooting — официальный FAQ • HTTrack Website Copier by Leto Kauler — годная смесь FAQ'а и мануала   Зачатки FAQ'а: Q: Я хочу загрузить сайт, который требует авторизации. Что делать? A: Кинуть в текущую директорию файл cookies.txt с нужными (но лишние не помешают) куками в нетскэйповском формате, HTTrack его подхватит. У Файрфокса куки в требуемом виде можно получить, воспользовавшись расширением «Export Cookies»; у Хрома — «Cookie.txt export».   Смело правьте и дополняйте шапку, однако не забывайте отписываться об исправлениях и сохранять исходный вариант. Всего записей: 18 | Зарегистр. 30-07-2007 | Отправлено: 21:34 30-07-2007 | Исправлено: Maz, 15:54 01-04-2019

TheBarmaley Platinum Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору abazhur Цитата: как...копировать с сайта, на котором необходима авторизация писатель штоле? глаза подыми в шапку - "зачатки фака".. ---------- ..the one of.. ··· ..sam-&-pol.. Всего записей: 17316 | Зарегистр. 07-06-2006 | Отправлено: 01:06 09-02-2017

TheBarmaley Platinum Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору abazhur есть предложение - попробовать "с нуля", т.е. создать новую закачку и уже ей скормить куки.. ну  ваще - убедись, шо всё правильно делаешь, может, твой файлик просто не подхватывается.. ) и да - я бы срезал каменты в начале файла.. ---------- ..the one of.. ··· ..sam-&-pol.. Всего записей: 17316 | Зарегистр. 07-06-2006 | Отправлено: 08:37 09-02-2017

abazhur Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору короче так: 1. создавал куки-файл, находясь на разных страницах сайта, будучи авторизованным (куки разные, так должно быть?); 2. помещал куки-файл в корневой каталог, где куки-файл не создается вообще, помещал куки-файл, затирая старый, в каталог внутри корневого; 3. затирал куки-файл, едва начав закачку, имея лишь корневой каталог и ничего внутри; 4. обновлял закачку, начинал новую, имея старую.    - ничего не получилось.   зайдя на страницу, полностью видную лишь авторизованным пользователям, и закачанную с помощью винтрак, имею отсутствие авторизации. на скаченной странице видно, что ее нет. попробую MetaProducts Offline Explorer Enterprise 7.4.4560, стянутую с известного ноунеймного (в буквальном смысле) трекера Всего записей: 10 | Зарегистр. 08-02-2017 | Отправлено: 20:28 10-02-2017 | Исправлено: abazhur, 22:51 10-02-2017

TheBarmaley Platinum Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору abazhur Цитата: ничего не получилось. из мануала: Цитата: Q: I can not access several pages (access forbidden, or redirect to another location), but I can with my browser, what's going on? A: You may need cookies! Cookies are specific data (for example, your username or password) that are sent to your browser once you have logged in certain sites so that you only have to log-in once. For example, after having entered your username in a website, you can view pages and articles, and the next time you will go to this site, you will not have to re-enter your username/password. To "merge" your personnal cookies to an HTTrack project, just copy the cookies.txt file from your Netscape folder (or the cookies located into the Temporary Internet Files folder for IE) into your project folder (or even the HTTrack folder) не? ---------- ..the one of.. ··· ..sam-&-pol.. Всего записей: 17316 | Зарегистр. 07-06-2006 | Отправлено: 03:02 11-02-2017

abazhur Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору все пошло. я вместо файла cookies.txt создавал cookie.txt нужно в папку самого проекта (находится внутри создаваемого программой корневого каталога) поместить файл cookies.txt и дело в шляпе.   спс за советы. Всего записей: 10 | Зарегистр. 08-02-2017 | Отправлено: 10:04 11-02-2017 | Исправлено: abazhur, 11:41 11-02-2017

TheBarmaley Platinum Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору abazhur куко-экспорт всё правильно делает, не придумывай.. )) 1. ещё раз - удали комментарии в файле.. 2. ещё раз - абзац из мануала выше: Цитата: into your project folder (or even the HTTrack folder) что непонятного-то?   Добавлено: ..чё-та два раза отправилось, дубль поста стёр.. ---------- ..the one of.. ··· ..sam-&-pol.. Всего записей: 17316 | Зарегистр. 07-06-2006 | Отправлено: 11:32 11-02-2017 | Исправлено: TheBarmaley, 11:43 11-02-2017

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору 3t, изменение путей невручную? ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 22:24 04-04-2017

TheBarmaley Platinum Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору 3t там же, вроде, и так все ссылки относительные, не? ---------- ..the one of.. ··· ..sam-&-pol.. Всего записей: 17316 | Зарегистр. 07-06-2006 | Отправлено: 11:04 05-04-2017

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору 3t> Невручную с помощью WinHTTrack? Или в нём это не предусмотрено?   А какая разница?  Что может быть проще, чем превратить пачку абсолютных ссылок в относительные в рамках одного файла? ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 21:38 05-04-2017 | Исправлено: ASE_DAG, 21:38 05-04-2017

Kas_Narayda Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору А вот к примеру если мне нужно скачать mp3-файлы на сайте http://www.sirius-ru.net/, но ссылки на скачивание mp3 ведут на сайт http://conference.sirius-net.org да ещё и качаются по порту 8020 например на странице: http://www.sirius-ru.net/dictations/aprel_iyl_2009/audio.htm есть ссылки http://conference.sirius-net.org:8020/dictations_2009_iun-iul/2009-07-10_moria.mp3 http://conference.sirius-net.org:8020/dictations_2009_iun-iul/2009-07-09_m_maria.mp3 http://conference.sirius-net.org:8020/dictations_2009_iun-iul/2009-07-08_padma_sambhava.mp3 и т. д. Как быть в этом случае. Просто так настроив скачивание сайта http://www.sirius-ru.net/ никаких mp3 не даёт. Всего записей: 9 | Зарегистр. 28-07-2017 | Отправлено: 11:32 28-07-2017

totnetot Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Народ, как выставить паузу между загрузками страниц?   Человек много страниц назад спрашивал, а ему вроде так и не ответили. Ведь, по сути, в некоторых случаях скачка большого числа страниц может стать аналогом DoS атаки.   Добавлено: Полазил по офф. форуму. Похоже такой опции не предусмотрено. Людям рекомендуют ограничивать скорость, максимальное количество соединений в секунду и т.д.     Добавлено: Может подскажете аналогичные проекты? Интересует Open Source, желательно с GUI. Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 16:35 07-08-2017

totnetot Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору AnTul я протестировал этот сайт с такими параметрами:   У меня закачка остановилась, когда набежало 100 Mb (как я и настраивал). После заходишь в директорию проекта через Total Commander, Alt-F7 поиск по маске *.exe и "файлы на панель". После выделяешь все найденные файлы и копируешь или перемещаешь в нужную папку. Лишнее удаляешь.   В итоге у меня оказалось 53 exe файла. Но там их наверняка больше лежит.   То что фильтры у меня не совсем правильно настроены - в этом я уверен. Возможно можно заменить некоторые + на -. Надо тестировать. В теории если начнешь качать только exe файлы может сработать какая нибудь защита. Я пока в этом не разбираюсь. Но некоторые сайты 100% защищаются от таких вот пауков.   И главное -  не ставь сильно большую скорость закачки и большое количество потоков. Иначе можешь попасть в бан по IP, по подозрению на DoS атаку. Большее количество потоков чем сделал я, и большую скорость - не ставь. На офф. сайте вообще рекомендуют иногда соединений ставить 1 или меньше 1. Из-за вероятности попадания в бан лист. И скорость рекомендуют поменьше.   Эта программа достаточно рабочая, но и достаточно дубовая. Почти как топор. Правила фильтрации насколько я понял нормально настроить невозможно. Вот если бы она понимала регулярные выражения - то цены бы ей не было. Сам ее второй день тестирую. Решил тебе помочь из спортивных соображений и любопытства. Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 17:04 08-08-2017 | Исправлено: totnetot, 17:07 08-08-2017

Страницы: 1 2 3 4 5 6 7 8 9 10 11

Компьютерный форум Ru.Board » Компьютеры » Программы » HTTrack Website Copier

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование