Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
lightware

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Уважаемые!
Что надо простому юзеру от граббера при работе в Web?
Попробую перечислить это (хотя может что и забуду):
 
1. Скачивать сайт целиком
 
2. Скачивать конкретные ссылки
 
3. Скачивать диапазон страничек в формате старт-адрес/стоп-адрес/шаг  
    (удобно на сайтах со структурой типа этого форума).
 
4.  Поиск и закачка  по фильтрам ( текст, графика, музыка или видео ), причем желательно
     оговаривать путь и размер фрейма (файла) - минимальный и(или) максимальный объем.  
 
5.  Поиск и закачка файлов определенного типа rar,zip,avi,swf,djvu,mp,jpg и тп.  
     с возможностью корректировки списка и также с фильтрами по веткам и объемам файлов.
 
 Для немного более продвинутых юзеров должно быть:
 
6. Умение определять структуру сайта.
 
7.  Определять платформу и версию сервера
 
8.  Умение копировать рабочие файлы сервера типа  js,asp,cgi,pl,php и тп.
 
Вроде все.
Остальное на любителя.
 
 
Теперь мое мнение про ОЕ :
он заточен под закачку ВСЕГО сайта или какого-то большого и цельного его куска, но какой же нормальный рядовой дуалапщик будет так грабить: вместе со всей рекламой и прочим мусором?
А это прямое следствие того, что фильтров мало и они не эффективны в силу своей непродуманности.
Из того, что хотелось бы видеть в граббере нет почти ничего. Это какая-то кривая породия на телепорт.
Даже вечно спотыкающийся ублюдочный Worm плюс отмороженный выскочка FlashGet и то предпочтительнее этого ОЕ.  
Хотя лично я предпочитаю телепорт - старая и надежная программа немецкого качества!
А что касается движка на закачку, то выдрать его хоть откуда не проблема.
Корче, все сырое - работать надо!
И за что деньги просим?
 

Всего записей: 11 | Зарегистр. 03-06-2005 | Отправлено: 12:16 05-06-2005 | Исправлено: lightware, 13:00 05-06-2005
TCPIP

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lightware
12:16 05-06-2005
Цитата:
он заточен под закачку ВСЕГО сайта  

Нет. Чтобы скачать например только одну страницу, нужно установить уровень 0 (нулевая глубина загрузки). Если на странице есть миниатюры изображений, которые ведут на увеличенные версии, нужно установить уровень 1. Ну и с каталогами поиграться, что-то поставить не дальше, чем текущий каталог, что-то просто занести в исключения.

Цитата:
Корче, все сырое - работать надо!  
И за что деньги просим?

Это вы горячитесь. Просто надо чуть-чуть разобраться в том, как работает эта штука. Для этого и создана отдельная тема. Уверяю вас это совсем не сложно.
Кроме того, уже достаточно давно появились шаблоны: надо скачать сайт, выбираете шаблон загрузки сайта, надо скачать только текущую страницу --- выбираете шаблон загрузки страницы. Скачиваете статьи с tomshardware или xbit и не нравится реклама --- занесите ее в фильтры и создайте шаблон для каждого сайта в отдельности.  
Ну а уж такой вещи, как URL Macros у Teleport вроде бы не было.

Всего записей: 4667 | Зарегистр. 31-01-2003 | Отправлено: 14:14 05-06-2005
Magi

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, а какой качалкой можно сохранять результат в PDF, или в один файл из которого можно сделать pdf?

Всего записей: 621 | Зарегистр. 12-12-2001 | Отправлено: 23:29 05-06-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Понятно? Теперь твоя программа кэшером зовётся...  

 
Точно! Я с ее помощью "кэш" зарабатываю. А авторы Телепорта вообще - "грабители". Русскую цену нормальную так и не сделали!!! Аж 150 баксов просят за то, что стоит всего 800 руб (Offline Explorer Pro)!!!
 
Добавлено:

Цитата:
Подскажите, а какой качалкой можно сохранять результат в PDF, или в один файл из которого можно сделать pdf?

 
Пока, наверное, такого еще нет. Мы планируем сделать экспорт в PDF для Offline Explorer и Inquiry. Но это непросто.
 

Цитата:
1. Скачивать сайт целиком  
 
2. Скачивать конкретные ссылки  
 
3. Скачивать диапазон страничек в формате старт-адрес/стоп-адрес/шаг  
    (удобно на сайтах со структурой типа этого форума).  
 
4.  Поиск и закачка  по фильтрам ( текст, графика, музыка или видео ), причем желательно  
     оговаривать путь и размер фрейма (файла) - минимальный и(или) максимальный объем.  
 
5.  Поиск и закачка файлов определенного типа rar,zip,avi,swf,djvu,mp,jpg и тп.  
     с возможностью корректировки списка и также с фильтрами по веткам и объемам файлов.  

 
Все это в Offline Explorer есть. Посмотрите в окне настроек Проекта - там фильтры на любой вкус есть.
 

Цитата:
8.  Умение копировать рабочие файлы сервера типа  js,asp,cgi,pl,php и тп.  

 
Без проблем, хоть сайт с исходниками можно скачать, если есть к нему FTP доступ - Offline Explorer - даже стандартный с FTP дружит.
 

Цитата:
7.  Определять платформу и версию сервера  

 
Это в логах можно без проблем увидеть.
 

Цитата:
Хотя лично я предпочитаю телепорт - старая и надежная программа немецкого качества!

 
Хе-хе, в первый раз вижу, что американцев немцами обзывают.
 
Добавлено:
Вот:
 
Tennyson Maxwell Information Systems, Inc.
PO Box 2341
Los Angeles, CA  90078  
 
We are a Massachusetts corporation with headquarters in Los Angeles.  
 
Это - с сайта Телепорт-а.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 14:50 06-06-2005
SealXTX



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
"Мне честно говоря, много чем не нравится Teleport... Но незначительные претензии мои практически токмо области интерфейса (частично) и немного удобства касаются (в основном). Те кто реально юзает офлайн-браузеры знают, что далеко не это определяет выбор автоматического офлайн-браузера, а токмо практически исключительно качество и скорость закачки. А вот в этом плане Teleport по прежнему остаётся лучшим.  
 
Что касается Offline Explorer (включая Enterprise), то, как и многие-многие другие авто-офлайники, он, несмотря на широкий набор функций, имеет ряд серьёзных проблем вообще, и при закачке многих сайтов в частности.  
В частности, он явно не справляется с такой называемой "проблемой обратной пирамидальности", когда закачка может продолжаться ну ОЧЕНЬ долго, а скачанный объём информации, в результате дублирования, ЗНАЧИТЕЛЬНО превышает реальный объём необходимый для закачки!!!  
Замечу, что это одна из основных проблем практически любого автоматического офлайн-браузера (однозначно, за исключением Teleport).  
 
Кстати, если кому интересно, то лично я "проблему пирамидальности" тестирую обычно на закачке сайта http://myie.pp.ru  
Этот сайт очень маленький. Объёмом немногим более пятисот килобайт (что сильно сокращает время тестирования). Так что если ваш офлайник скачав шесть сотен килобайт информации продолжает её оттуда качать мегабайт за мегабайтом, то можете смело быть уверены, что вам не повезло, и ВАШ офлайник подвержен так называемой "проблеме пирамидальности"!  
Рекомендация проста: Срочно переходить на Teleport Pro (последняя его версия - 1.32)!  
 
Короче, Offline Explorer до сих пор НЕ ЯВЛЯЕТСЯ "достойной заменой Teleport"!!!  
Несмотря даже на то, что многие вещи касающиеся настроек и интерфейса реализованы в нём куда как удобней..."
(с) Киев  
 
Добавлено:
И как обстоят дела насчет отработки разл броузеров по решению проблемы "обратной пирамидальности" в настоящее время?

Всего записей: 616 | Зарегистр. 24-03-2004 | Отправлено: 16:05 29-07-2005 | Исправлено: SealXTX, 16:10 29-07-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не совсем так. Телепорт тоже может облажаться на этом сайте. Дайте ему ссылку:
 
http://myie.pp.ru/news/
 
Поставьте уровень, скажем, 100 и он забъет весь диск совершенно одинаковыми файлами. Offline Explorer через некоторое время успокоится, т.к. в нем действительно есть блокировка подобной пирамидальности. Просто она срабатывает несколько поздно.  
 
А у Телепорта блокировки нет совсем.
 
При скачивании с начала сайта Offline Explorer анализирует все, что может быть похоже на ссылки, включая формы. На странице http://myie.pp.ru/search/search/user1.htm Offline Explorer анализирует ниспадающий список и берет оттуда ссылку на папку /news/. На сайте не срабатывает, что нужно на такой несуществующий адрес выдать ошибку 404 - не найдено и понеслось...
 
Конечно, это недостаток Offline Explorer. Но этот недостаток оборачивается достоинством на других сайтах, где ссылки расположены в таких списках. Телепорт их не возьмет вообще, а Offline Explorer будет легко закачивать.
 
На данном же сайте победить проблему легко - достаточно добавить /news/ в список запрещенных каталогов.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 11:20 30-07-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SealXTX
 
Так что скажете?

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 16:00 02-08-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вышла версия 3.9 Offline Explorer и обновилась таблица сравнения:
 
http://www.metaproducts.com/mp/chart.asp?chart_id=1&lng=2&id=2&links=1
 
(Добавили поддержку MSN Browser и возможность использовать списки прокси-серверов)
 
http://www.metaproducts.com/download/oesetup.exe  
http://www.metaproducts.com/download/opsetup.exe  
http://www.metaproducts.com/download/eesetup.exe

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 22:39 04-08-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вышла версия 3.9 SR1 Offline Explorer:  
 
http://www.metaproducts.com/download/oesetup.exe  
http://www.metaproducts.com/download/opsetup.exe  
http://www.metaproducts.com/download/eesetup.exe

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 21:12 24-08-2005
Kurt

 
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
А какая качалка могла бы залогинится на форум (по указаным ей имени и паролю) и скачивать этот самый форум. Само собой, без авторизации просто напросто разделы будут недоступны.
Мне думается, что это может быть какая-то качалка, к примеру, интегрираванная с IE, то есть логин идет руками в браузере, и для закачки уже нет никаких проблем.

----------
http://uid.me/kurt

Всего записей: 3822 | Зарегистр. 30-06-2001 | Отправлено: 01:48 07-09-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А так и есть с Offline Explorer - после логона во встроенном браузере можно скачивать сайт без проблем.  
 
Либо есть еще один способ - во встроенном браузере заполнить форму с паролем и отправить ее с нажатыми клавишами Alt+Ctrl - Offline Explorer Pro создаст новый проект с запомненной формой. При загрузке проекта эта форма будет автоматически отправляться и все будет нормально грузиться.  
 
Это удобно, если нужно в будущем автоматически загружать сайт, без вмешательства, например, по расписанию.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 19:49 07-09-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вышла версия 3.9 SR2 Offline Explorer:  
   
http://www.metaproducts.com/download/oesetup.exe    
http://www.metaproducts.com/download/opsetup.exe    
http://www.metaproducts.com/download/eesetup.exe

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 09:16 30-09-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Опубликована первая бета версия Offline Explorer Pro 4.0:  
 
http://www.metaproducts.com/mp/mpProducts_Detail.asp?id=2

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 15:43 24-10-2005
Romano



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
а можно узнать сколько весит каждая из трех версий Offline Explorer ?
т.е. OE, OEP и OEE ?

Всего записей: 2345 | Зарегистр. 13-02-2002 | Отправлено: 08:19 27-10-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
4.0 Beta:
 
OE - 2589696
OE Pro - 2841480
OE Enterprise - 3246136

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 11:21 31-10-2005
qasik



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
2OlegChernavin
большой ли доход приносит твоя программа?

Всего записей: 49 | Зарегистр. 19-12-2004 | Отправлено: 06:45 10-11-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Как обычно, хочется большего.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 20:39 10-11-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Окончательно выпустили 4-ю версию Offline Explorer-ов:
 
http://www.metaproducts.com/download/oesetup.exe    
http://www.metaproducts.com/download/opsetup.exe    
http://www.metaproducts.com/download/eesetup.exe

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 20:16 29-11-2005
Aramo

Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
А как можно сграбить только ДБ?
 Чтоб программа поочередно изменяла в интернет адресе номера/буквы,  которые у меня в exel-е, и опять же в exel-e рядом с каждым номером поставила определенный "кусок текста", соответствующий запросу в адресе с генерируемого сайта.
Спасибо.

Всего записей: 99 | Зарегистр. 16-07-2002 | Отправлено: 02:12 12-12-2005
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А что такое "сграбить только ДБ". Может имеются в виду URL Macros в Offline Explorer Pro?

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 14:31 12-12-2005
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru