ShigaLex Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Рекурсивная загрузка веб-сайтов; оффлайн-браузеры — общая тема по вопросу; если вы еще не определились с выбором инструмента, то вам туда. HTTrack Website Copier   HTTrack — свободное приложение для рекурсивной загрузки веб-сайтов, т.е. для той задачи, которую решают Wget в режиме зеркалирования (--mirror) и проприетарные Teleport Pro и Offline Explorer. Основной интерфейс — неинтерактивный командный, но доступно и по меньшей мере две графические оболочки: виндовый WinHTTrack и браузерный WebHTTrack.   | Офсайт | Википедия | Фрешмит | Ман |   Документация: • Httrack Users Guide by Fred Cohen — довольно длинный учебник • FAQ & Troubleshooting — официальный FAQ • HTTrack Website Copier by Leto Kauler — годная смесь FAQ'а и мануала   Зачатки FAQ'а: Q: Я хочу загрузить сайт, который требует авторизации. Что делать? A: Кинуть в текущую директорию файл cookies.txt с нужными (но лишние не помешают) куками в нетскэйповском формате, HTTrack его подхватит. У Файрфокса куки в требуемом виде можно получить, воспользовавшись расширением «Export Cookies»; у Хрома — «Cookie.txt export».   Смело правьте и дополняйте шапку, однако не забывайте отписываться об исправлениях и сохранять исходный вариант. Всего записей: 18 | Зарегистр. 30-07-2007 | Отправлено: 21:34 30-07-2007 | Исправлено: Maz, 15:54 01-04-2019

Taran2ul Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Подскажите как правильно тормозить закачку. А то там очистка кэша и .... Всего записей: 458 | Зарегистр. 18-02-2008 | Отправлено: 13:50 26-10-2011

shveicar Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Здравствуйте, давно хотел спросить, как правильно выставлять паузу между загрузкой (в offline explorer это злементарно - время в секундах) пытаюсь ставить в опции "пауза между загрузкой" - и после каждого запроса выскакивает окно с требованием нажать ок для продолжения... Всего записей: 333 | Зарегистр. 26-09-2010 | Отправлено: 13:33 24-12-2011

aftertime Advanced Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору возникли проблемы с кодировкой имен проектов и кодировкой файлов index.html начал изучать тему- оказалось слабос поддержкой utf-8. ответ автора программы если коротко - планы глобальные. изменений ждем с 2008 года Всего записей: 960 | Зарегистр. 26-11-2006 | Отправлено: 16:17 05-02-2012 | Исправлено: aftertime, 16:20 05-02-2012

shveicar Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Кстати  недавно узнал -  вышла новая версия 3.44-5 вроде стабильнее чем 3.43 Интересно, Автор программы планирует сделать опцию - "приостановить проект в файл" тогда, цены-бы, данной программе не было. Всего записей: 333 | Зарегистр. 26-09-2010 | Отправлено: 01:11 20-02-2012 | Исправлено: shveicar, 20:50 23-02-2012

SerJantX Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору xitsa Цитата: AndreyPA Может, это уже поздновато, но… Меня работа с ним тоже напрягала по-началу. Вот один совет: При выборе адреса, откуда скачивать, есть такая кнопка Set options…, нажимаешь, выбираешь вкладку Scan rules, на ней описаны регулярные выражения, по которым он будет выбирать ссылки на дальнейшее скачивание. Чтобы добавить новое правило, нажми Include link(s), выбери criterion:links on this domain string: сервер, с которого скачиваешь, например: ru-board.com. Попробовал, ни чего не получилось 1. мне нужно к примеру скачать отсюда все посты и только(со всеми вложениями, сполерами, картинками и т.п.), т.е. без выхода за пределы этой ветки.   2. к примеру нужно помимо постов еще скачать линки с шапки, в данном примере они на другие ветки не ведут кроме нижней, представим что все что имеющиеся в шапке ведет на другие ветки которые также нужно полностью скачать, что делать? Т.е. нужны только ветки а не весь сайт, ни ссылки ведущие в ЛС, к цитатам, редактированию и прочих сворачивающих от темы.   Помогите пожалуйста. Всего записей: 941 | Зарегистр. 05-10-2009 | Отправлено: 14:22 28-02-2012 | Исправлено: SerJantX, 14:23 28-02-2012

JHeavy Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Здравствуйте, очень нравится программа, но я не могу никак понять как скачивать ветки с форумов т.е. как правильно указать начальную страницу и конечную страницу и чтобы все страницы между ними качались. Скачивается только 1 страница. Если не трудно напишите пример с пояснениями. ASE_DAG писал несколько примеров, помоему для сайта radiokot где все качается, но для других сайтов у меня не получилось сделать по аналогии. Пользуюсь WinHTTrack и с командами мало знаком Заранее спасибо Всего записей: 70 | Зарегистр. 16-03-2007 | Отправлено: 15:17 09-03-2012

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору ArJ Цитата: Привет всем!   Столкнулись с такой проблемой, используя wget:   Например, есть файл на сайте site.com/Files/LibFiles/80.wmv Парсинговый скрипт ищет его как login:pasword@live-st.ru/Files/LibFiles/80.wmv. В таком же виде по умолчанию он кладет его в кеш прокси.     2. Сайт написан так, что пользователь зайдя в свой кабинет открывает этот файл как l site.com/Files/LibFiles/80.wmv Но такого объекта в кеше прокси нет.     Раньше мы устанавливали редирект прокси с login:pasword@site.com/Files/LibFiles/80.wmv на  site.com/Files/LibFiles/80.wmv, но проблема была в корректном создании списка редиректа.     Сейчас хотим пойти другим путем, необходимо, чтобы он по умолчанию обращался без пароля, а пароль возвращал только в случае запроса сервера. Как-то так. И да, бежать должно в командной строке.   Часть файлов под паролем, часть нет.   Можно ли решить данную проблему при помощи HTTrack? И вообще как ее можно решить (под Юниксом в командной строке)?     И вам привет. Может быть, я просто туго соображаю, но я не понял, ни что вы вообще делаете, ни какое место у вас занимают Вэ-гет и кэширующий прокси. Отвечая на конкретный вопрос: можно ли указать сабжу отправлять аутентификационные данные только после отлупа анонимного запроса, скажу, что не видел такой странной опции, ни у него, ни у какого-либо другого HTTP-клиента. В первую очередь, полагаю, потому не видел, что это и так дефолтное поведение; в том числе и у Вэ-гета. Замечу также, что если у вас есть некий «парсинговый скрипт», т. е. вы используете Вэ-гет не в рекурсивном режиме, то нет никаких проблем реализовать еще один уровень проверки, дописав пару строчек.   P. S. Милый слоненок. ;-) ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 21:42 24-05-2012 | Исправлено: ASE_DAG, 22:11 24-05-2012

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Andreykhv > можно ли выкачать закрытый форум http://www.traderacademy.ru/forum/ Можно. По крайней мере у меня никаких проблем с авторизацией по кукам не возникло.   > ввод логина и пароля не помогает Не очень понятно, куда вы их там вводили.   > cookies.txt с нужными куками куда кидать > в папку с программой или в папку где сохраняется форум Ни то, ни другое. «Кинуть в текущую директорию» — это в ту директорию, в которой вы будете находится, отдавая команду. Т. е. если вы приказываете так: you@yourpc:~/mydownloads$ httrack 'http://www.traderacademy.ru/forum/' то куки должны быть в файле ~/mydownloads/cookies.txt.   > с нужными куками Вот еще что. Я не зря указал в шапке, что лишние не помешают. Возможно вы выбирая нужные, ненароком забыли какую-то. Я выслал вам личкой достаточный перечень кук с действительными значениями — сопоставьте со своим. ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 19:59 06-09-2012 | Исправлено: ASE_DAG, 20:20 06-09-2012

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Andreykhv > нажимая кнопку добавить URL  в соответствующие поля Т. е. вы пользуетесь каким-то из двух граф. интерфейсов, а не просто httrack’ом. К сожалению, мне из них не знаком ни один.   > У меня windows. Это пока не проблема. httrack кроссплатформенен и может быть сам, безо всяких гуев, использован под Виндой точно так же, как я вам показал: cookies.txt в текущую папку и   >httrack "http://www.traderacademy.ru/forum/"   Однако если коминтерпретатор Винды вам не нравится, то можете установить Цигвин (Cygwin) — с ним будет проще.   > Файл cookies.txt который я извлек с помощью расширения «Export Cookies» > он отличался от ... вашего > в чем может быть причина Причина того, что он отличается? Ну во-первых, как вы заметили, «Export Cookies» сохраняет все куки, что помнит ФФ, для всех сайтов. А во-вторых, некоторые куки имеют временную или случайную составляющую. ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 22:27 06-09-2012

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Andreykhv > куки которые создает программа выглядят так Они вас, очевидно, не интересуют.   > а куки из мозиллы такие   Мне кажется, что ничем, кроме собственно значений, зависящих от времени и от случайных величин, не отличаются от тех, что я вам высылал. Их и надо положить с именем cookies.txt в текущую директорию.   P. S. Что у вас с размером шрифта? ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 23:53 06-09-2012 | Исправлено: ASE_DAG, 23:54 06-09-2012

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Andreykhv > что значит текущая директория? Это папка которая открыта? Да.   > как отдавать команду httrack "http://www.traderacademy.ru/forum/" Если это вопрос про то, как пользоваться командной оболочкой, доступной в вашей системе, то обратитесь к тем, кто с ней хорошо знаком — в ветку «Командная строка Windows», например. Мне вам это об’яснять не вполне сподручно. Ну или, если не хотите мучаться с виндовым шеллом, поставьте, как я уже предлагал, Цигвин. Не забудьте только при установке выбрать в т. ч. и httrack. ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 00:43 07-09-2012 | Исправлено: ASE_DAG, 00:49 07-09-2012

Страницы: 1 2 3 4 5 6 7 8 9 10 11

Компьютерный форум Ru.Board » Компьютеры » Программы » HTTrack Website Copier

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование