Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
Zakkazak



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OfflineExplorer сможет решить эту задачу. Достаточно в поле URL проекта прописать эти параметры:
 
Channels=1
Delay=60

Всего записей: 995 | Зарегистр. 12-01-2005 | Отправлено: 00:25 12-10-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Или в окне настроек. Причем можно в поле задержки ставить диапазон, например, 20-40 - получится от 20 до 40 секунд будет проходить между загрузками, случайным образом, имитируя поведение обычного пользователя, который грузит страницу, читает, а потом кликает по следующей ссылке.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 13:23 17-10-2006
VadimNext

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А кто знает, где реализована возможность закачки ТОЛЬКО ссылок.

Всего записей: 28 | Зарегистр. 25-11-2005 | Отправлено: 21:35 29-11-2006
fixin



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Хочу скачать вот эту ветку (80 листов):  
http://law.vl.ru/forum/viewtopic.php?t=36&postdays=0&postorder=asc&start=1  
 
Короче перепробовал все, начинает сволочь скачивать весь PHPBB форум.  
Что бы такое простенькое поставить, чтобы она скачала эту страницу и все страницы с нее, которые начинаются на http://law.vl.ru/forum/viewtopic.php?t=36&postdays=0&postorder=asc&start= ???  
 
И больше ничего, разве что еще картинки с этих страниц???  
 
Пробовал WinHTTTrack, WebZip, Teleport - все качает сайт целиком... со страшной силой!

Всего записей: 78 | Зарегистр. 08-06-2005 | Отправлено: 19:30 15-12-2006
MrPerfect



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VadimNext
http://www.dubna.ru/~chikalov/wgrabber/

Всего записей: 2342 | Зарегистр. 19-04-2002 | Отправлено: 08:31 17-12-2006
Zakkazak



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fixin
Проще простого. В Offline Explorer е создаещь проект с этой маской
http://law.vl.ru/forum/viewtopic.php?t=36&postdays=0&postorder=asc&start={:0..1335|15}
 
Далее в настройках ограничеваешь закачку :  
уровень=0
загружаешь только Текст и css-файлы.
 
Всё! Проект готов к запуску!

Всего записей: 995 | Зарегистр. 12-01-2005 | Отправлено: 03:08 18-12-2006
fixin



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
 
fixin  
Проще простого. В Offline Explorer е создаещь проект с этой маской  
http://law.vl.ru/forum/viewtopic.php?t=36&postdays=0&postorder=asc&start={:0..1335|15}  
 
Далее в настройках ограничеваешь закачку :  
уровень=0  
загружаешь только Текст и css-файлы.  
 
Всё! Проект готов к запуску!
 

 
Не фига, с такими настройками скачивает только первую страницу ветки ... ;-(
 
Добавлено:

Цитата:
VadimNext  
http://www.dubna.ru/~chikalov/wgrabber/

Да нет, тоже много левого качает, например ссылки типа следующая/предыдущая на странице, качает как отдельные страницы...
Мне бы что нибудь чтобы задать диапазон в start и приращение, чтобы скачало только эти страницы, все...

Всего записей: 78 | Зарегистр. 08-06-2005 | Отправлено: 09:55 18-12-2006
Zakkazak



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fixin

Цитата:
Не фига, с такими настройками скачивает только первую страницу ветки ... ;-(  
Добавь такую фигню в Замену адресов (ветка Дополнительно) и радуйся жизни  
http://*viewtopic.php?t=*& &sid=*

 

Всего записей: 995 | Зарегистр. 12-01-2005 | Отправлено: 23:52 18-12-2006 | Исправлено: Zakkazak, 23:56 18-12-2006
Evaf



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
доброго времени суток!!! Если вам не сложно, обьясните мне пожалуйста, как реализовать вот такую вещь. Есть форум, на котором большенство фоток выставлены в виде превью с сайта Foto.radikal.ru. Щелкаешь на надпись под превью отррывается новое окно с сайта радикал, в котором грузится эта фотография в полном размере.  
Со всего форума мне нужно скачать именно эти  полноразмерные фотки, которые выложены на радикале. Скажите, как это можно сделать используя вашу программу.

Всего записей: 9 | Зарегистр. 25-12-2006 | Отправлено: 00:42 31-12-2006
Zakkazak



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Есть форум, на котором большенство фоток выставлены в виде превью  

Цитата:
мне нужно скачать именно эти  полноразмерные фотки

Offline Explorer  умеет заменять линки на лету. Можно настроить так, что линки на превьюшки будут менятся на полноразмерные:
http://*radikal.ru/ .ru/**/*x.jpg .ru/**/*.jpg

Всего записей: 995 | Зарегистр. 12-01-2005 | Отправлено: 02:43 02-01-2007
Evaf



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сасибо за ответ, но если можно тыкнете мне пальцем где именно это надо прописать. Я то этого времени пользовалась телеортом и не очень хорошо разобралась в Offline Explorer.
 
Добавлено:
и еще один момент, мне с форума кроме этих фоток больше ничего не надо. Как отключить все остальные сайты, которых очень очень много.

Всего записей: 9 | Зарегистр. 25-12-2006 | Отправлено: 11:36 02-01-2007
Zakkazak



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Это в Свойсвах проекта>Дополнительно>Замена адресов

Цитата:
мне с форума кроме этих фоток больше ничего не надо
Так сложно сказать, по конкретней бы, с какого форума. Можешь в пм отправить ссылку.

Всего записей: 995 | Зарегистр. 12-01-2005 | Отправлено: 13:14 02-01-2007
Evaf



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Отправила Вам ссылку в личку

Всего записей: 9 | Зарегистр. 25-12-2006 | Отправлено: 16:41 02-01-2007
revinsky



Дизель
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
А скажите-ка, граждане, кто нибудь пользовался функцией Web Capture в Adobe Acrobat (не Reader)? И как хорошо она работает по сравнению с прочими известными решениями?
(там, насколько я понимаю, сразу идет преобразование скачанного сайта в пдф)

Всего записей: 1999 | Зарегистр. 15-10-2001 | Отправлено: 21:37 13-01-2007
Zakkazak



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Помню качал я 6-ой версией Акробата. Конечно он слабоват по сравнению с оффлайнерами и по части фильтрации, и по управлению загрузкой. Не может также хорошо извлекать адреса из скриптов.  Словом это не по части акробата. Так если нет под рукой оффлайн-броузера, можно загрузить пару страниц.  
 
Если сайт надо в пдф сконвертировать лучше его загрузить броузером затем акробатом преоброзовать в пдф.

Всего записей: 995 | Зарегистр. 12-01-2005 | Отправлено: 23:59 13-01-2007
revinsky



Дизель
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Zakkazak

Цитата:
Если сайт надо в пдф сконвертировать лучше его загрузить броузером затем акробатом преоброзовать в пдф.

 
хм, своеобразно

Всего записей: 1999 | Зарегистр. 15-10-2001 | Отправлено: 01:00 14-01-2007
dAnIK SeNT



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Граждане, у меня вот какая задача.
Нужен оффлайновый браузер, который будет загружать файлы не в соответствии с правилами/настройками, а только по запросу из браузера.
По сути, требуется локальный кэширующий прокси, но:
1. сохранять он должен не всё подряд, а только данные с определённых серверов
2. при сохранении он должен воссоздавать структуру сайта и локализовать ссылки, чобы можно было просмотреть загруженное уже без помощи прокси.
 
Оффлайн эксплорер позволяет что-то подобное - когда открываешь ссылку типа http://127.0.0.1:800/Default/site.ru/page.htm, он говорит not found и предлагает добавить строчку, подохдать, вернуться... Но это жуткий геморрой.
Надо чтобы при открытии ещё незагруженной страницы, она автоматически загружалась и добавлялась в проект. Причём не как отдельная независимая страница, а просто в общую базу данных.

Всего записей: 297 | Зарегистр. 24-11-2002 | Отправлено: 22:26 01-03-2007
dAnIK SeNT



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ага, примерно то, что мне надо, делает Internet Researcher.
НО!
1 - внутренняя структура хренения довольно дебильная. Чтобы получить исходную структуру на диске, надо делать экспорт
2 - программа на коленке накрапана ) боюсь, что глючить будет при большом количестве ссылок
3 - работает только из внутреннего браузера, который на IE. А я бы хотел юзать Opera. В этом плане подход Offline Explorer'а, предоставляющего веб-сервер, очень хорош.

Всего записей: 297 | Зарегистр. 24-11-2002 | Отправлено: 10:24 02-03-2007
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
dAnIK SeNT
 
Можно использовать кнопку автосохранения на панели встроенного браузера. Технология проста. Нужен сайт, создаем новый проект с адресом этого сайта. Никаких настроек больше не нужно. Выбираем этот проект в дереве проектов, нажимаем кнопку АвтоСохранение и потом кнопку просмотра сайта оффлайн. Offline Explorer будет качать отстутствующие файлы по запросу из браузера и добавлять их в проект. Ссылки в файлах будут меняться на оффлайновые.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 23:46 02-03-2007
pom205

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Короче, Offline Explorer до сих пор НЕ ЯВЛЯЕТСЯ "достойной заменой Teleport"!!!  

Точно! Подтверждаю ,как заядлый качальщик с многолетним стажем. OE использую только для сбора ссылок (перетаскиванием пачками выделенных ссылок на проект). Потом в блкноте подправляю - и... В общем, основную работу делает  телепорт. А потом- в CHM - с поиском, предваритьно сварганив оглавление HTM2CHM-ом.

Всего записей: 555 | Зарегистр. 03-06-2006 | Отправлено: 11:41 20-03-2007
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru