Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack) - [26] :: Программы

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?

Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz
Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Orlon

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)

WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?

ТАБЛИЦЫ СРАВНЕНИЯ :

1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com

Путеводитель по offline-браузерам подробная серия статей на iXBT.com

Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011

OlegChernavin

Silver Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Roman2S

В Offline Explorer есть все виды фильтров. В диалоге Свойств проекта есть секция Фильтры URL - там есть списки для исключения и для разрешения (грузить только по этим ключевым словам).

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 19:15 11-11-2012

Roman2S

Newbie

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Да, вы правы - там есть - исключение на загрузку определённых урлов. А вот разрешение не нашёл, только по словам (т.е. анкорам), мне нужно к примеру, загрузить все старницы:

site.com/in?vvv=
site.com/in?p=

Как это добавить в условие, текст там может быть разный ...

Всего записей: 4 | Зарегистр. 10-11-2012 | Отправлено: 15:30 12-11-2012

OlegChernavin Silver Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору Roman2S Фильтры URL - Имена файлов - добавить в разрешенный список: in?vvv= in?p= Все, что не соответствует этим маскам будет исключено.
	Всего записей: 2305 \| Зарегистр. 02-10-2003 \| Отправлено: 16:11 12-11-2012

north

Advanced Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Добрый день, существует ли шаблон для скачки с livejournal. Т.е. скачать полностью нужный журнал не цепляя богомерзкую рекламу супа. Или только колдовать самому. Спасибо.

Всего записей: 728 | Зарегистр. 05-06-2004 | Отправлено: 19:37 12-11-2012

OlegChernavin

Silver Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

north

В Offline Explorer настроить проект для скачивания только с начального сервера, например, http://metroelf.livejournal.com/, установить во всех Фильтрах Файлов загрузку только по Фильтрам URL.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 19:52 12-11-2012

Nikolay777 Junior Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору а для мамбы как настроить?
	Всего записей: 183 \| Зарегистр. 20-10-2007 \| Отправлено: 17:44 13-11-2012

OlegChernavin Silver Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору Nikolay777 А с обычными настройками что не так выходит? Я знаю, что большие картинки не скачиваются из-за AJAX.
	Всего записей: 2305 \| Зарегистр. 02-10-2003 \| Отправлено: 20:53 13-11-2012

OlegChernavin Silver Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору HandyCache Сделал эту фичу, чтобы не докачивать страницу, если найден текст из команды SkipParsingAfter.
	Всего записей: 2305 \| Зарегистр. 02-10-2003 \| Отправлено: 00:04 16-11-2012

HandyCache Junior Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору OlegChernavin Спасибо, при первой необходимости буду пользоваться этой функцией.
	Всего записей: 139 \| Зарегистр. 09-10-2008 \| Отправлено: 21:33 04-12-2012

dimon0476

Advanced Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

For ALL:
нужно выкачать сайт с сохранением структуры каталогов. Использую Телепорт. При закачке английской версии сайта все в порядке. Но когда русский - многие каталоги в папке отображаются как абра-катабра (иероглифы) и потом не работают ссылки на локальные страницы. Чем закачать русский сайт? В чем проблема?

----------
"Мы часто воспринимаем полутораумных людей как полоумных, потому что нам доступна лишь треть их ума."

Всего записей: 1641 | Зарегистр. 16-04-2012 | Отправлено: 12:53 16-12-2012

dimon0476

Advanced Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Нашел проблему: получается, что все идет в кодировке ANCI, а надо в UTF-8. Тогда без крякозябров будет. В Телепорте это как-то переключается иил какой программой качать?

----------
"Мы часто воспринимаем полутораумных людей как полоумных, потому что нам доступна лишь треть их ума."

Всего записей: 1641 | Зарегистр. 16-04-2012 | Отправлено: 16:53 16-12-2012

OlegChernavin

Silver Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

dimon0476

Это можно сделать в Offline Explorer - в окне настроек проекта - секция Обработка - есть галка "Использовать Unicode в именах файлов". Должно работать. Если нет, напишите, я поправлю.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 18:41 16-12-2012

dimon0476 Advanced Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору OlegChernavin, а нельзя это как-то поправить в Телепорте. К нему привык уже.
	Всего записей: 1641 \| Зарегистр. 16-04-2012 \| Отправлено: 18:48 16-12-2012

OlegChernavin

Silver Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

dimon0476

Понимаю, но увы! Я разработчик Offline Explorer-а, а не Teleport-а. Раньше он был практически лучшей и хорошо развиваемой программой. Но уже много лет, как его практически бросили.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 19:35 16-12-2012

dimon0476

Advanced Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

OlegChernavin, ок. Я пока поставил. Посмотрю как будет. А как в Offline Explorer можно выбрать чтобы он не на всех языках страницы копировал, а только русский? Начальную страницу я поставил как ..../ru, но он копирует и другие языки.

----------
"Мы часто воспринимаем полутораумных людей как полоумных, потому что нам доступна лишь треть их ума."

Всего записей: 1641 | Зарегистр. 16-04-2012 | Отправлено: 19:47 16-12-2012 | Исправлено: dimon0476, 19:47 16-12-2012

OlegChernavin

Silver Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Скорее всего, нужно использовать фильтры, чтобы не заходить на другие языки. Это очень зависит от структуры каталогов и страниц на сайте. Пришлите мне его адрес, я смогу дать точный совет.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 20:04 16-12-2012

dimon0476 Advanced Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору OlegChernavin, ответил в личку
	Всего записей: 1641 \| Зарегистр. 16-04-2012 \| Отправлено: 20:22 16-12-2012

Drakostaarn Newbie	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору Добрый вечер! Вопрос - можно ли какой-то программой выкачать весь форум с б-гомерзкого народ.ру? Проблема в том, что там вырвиглазные ссылки.
	Всего записей: 15 \| Зарегистр. 10-09-2010 \| Отправлено: 23:45 07-02-2013

OlegChernavin Silver Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору Drakostaarn Конкретный адрес можете дать и описать что именно не скачивается?
	Всего записей: 2305 \| Зарегистр. 02-10-2003 \| Отправлено: 00:03 08-02-2013

Drakostaarn

Newbie

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Ну, к примеру, вот этот форум. http://narod.yandex.ru/userforum/?owner=ordenknights

Скачивается только первая страница с сообщениями. 2,3 и далее все до конца - уже не скачиваются, как я понимаю - по причине непрямых ссылок.

Всего записей: 15 | Зарегистр. 10-09-2010 | Отправлено: 10:25 08-02-2013

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC