Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
MrPerfect



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
albel

Цитата:
вопрос только, насколько увеличится время операций с оффлайн-сайтом

Ну кто-нибудь резво покрутит программу и даст сюда мнение.

Всего записей: 2342 | Зарегистр. 19-04-2002 | Отправлено: 22:00 23-02-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Ну а в Offline Explorer мне очень не хватает "Retrieve only file names" (есть в Teleport) - только список имён файлов без загрузки самих файлов. Хочу!

 
Я одного не понимаю - зачем это нужно, ведь все-равно придется скачивать весь сайт, все HTML, JS, CSS, Flash, etc. - чтобы вытащить все ссылки. И после этого если захочется сайт все-таки скачать, придется скачивать все заново - практически двойная работа.
 
Я пытался обсудить это с несколькими людьми и так и не получил внятных объяснений, зачем это нужно. Может обсудим здесь, как это можно применить, плюсы и минусы? Мне бы не хотелось делать фичу только потому что ее попросили, не понимаю ее сути и необходимости. Мне хочется самому понимать что к чему, тогда я могу ее сделать намного удобнее для применения.
 
 

Цитата:
Sending projects as email attachments  

 
Судя по всему, это возможность послать установки проекта. В ОЕ это давно есть - можно выбрать проект, нажать кнопку Копировать и вставить в письмо или текстовый файл. На другом конце все это без проблем вставляется в другой ОЕ.  
 
Если нужно весь проект с файлами, то делается его Backup и шлется.
 

Цитата:
Extraction of e-mail addresses  

 
Это тоже в OE Pro делается - в поле адресов проекта задается строка:
 
Additional=CollectEMails=c:\file.txt
 
 
Добавлено
Таблица сравнения обновлена - добавлены WebSite Extractor 9.06 и WebCloner Pro 2.3. Добавлены некоторые фичи в таблицу.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 20:00 27-02-2004
MrPerfect



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin

Цитата:
Я одного не понимаю - зачем это нужно, ведь все-равно придется скачивать весь сайт, все HTML, JS, CSS, Flash, etc. - чтобы вытащить все ссылки

Спасибо.
Вероятно - да, для того, чтобы извлечь ссылки загрузка этого добра выполняется. Но в OE нет возможности извлечения ссылок. Только extract email. Где extract URL?
 

Цитата:
Я пытался обсудить это с несколькими людьми и так и не получил внятных объяснений, зачем это нужно

Я не знаю - для чего это может быть нужно другим, но я знаю - для чего это нужно мне -  
Teleport New project wizard - Search a website for files of a certain type - Search for the types and sizes of files listed below - Retrieve only file names (project properties).
Например, для поиска на сайте всех файлов .exe. Результат - список найденных файлов .exe без загрузки самих файлов. Далее я могу выбрать нужный (нужные) мне файлы .exe и загрузить только их. Все подряд .exe с сайта мне загружать не требуется.
 

Цитата:
придется скачивать весь сайт, все HTML, JS, CSS, Flash, etc. - чтобы вытащить все ссылки

Да и это добро мне на винчестере совсем не нужно. Пусть загрузка выполняется в temp, далее extract нужных URL, результат - список URL в OE, temp очищается автоматически.
 
Указанную операцию я выполняю для поиска нужных мне exe, zip, rar, txt, pdf, swf, и т.д. Я затрудняюсь более глубоко описать ситуацию. Надеюсь, что кто-нибудь это тоже использует и выскажется более подробно и профессионально. Не молчите!
 
Да и вообще хочу такое в OE!
http://people.freenet.de/h.ulbrich/urlserch.zip
 

Цитата:
Таблица сравнения обновлена

Текущие версии:
Web Stripper 2.59
BlackWidow 4.37
Offline Commander 2.1
Teleport Ultra HTTPS 1.29.2050

Всего записей: 2342 | Зарегистр. 19-04-2002 | Отправлено: 08:30 28-02-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Текущие версии:  
Web Stripper 2.59  
BlackWidow 4.37  
Offline Commander 2.1  
Teleport Ultra HTTPS 1.29.2050

 
Таблица обновлена. Однако, в Teleport ничего нового нет - небольшие изменения в существующий фичах и багфиксы.  
 
BlackWidow у нас упомянут более свежий, чем 4.37 - 4.40 у них около года проходит бета-тестирование, все никак не выпустят.
 
Offline Commander 2.1 - на самом деле, это 1.9 - выпущена 27 июня 2003 года - та-же дата, что и для 1.9 версии - они просто поменяли номер непонятно зачем - обмануть пользователей?

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 12:41 01-03-2004
Olsen



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Надо скачать следующий сайт (чтобы в offline режиме можно было просматривать)  
http://help.sap.com/saphelp_46c/helpdata/en/e1/8e51341a06084de10000009b38f83b/frameset.htm  
Проблема в очень сложной организации этого сайта.  Прошу посоветовать, какая из рассматриваемых программ лучше всего подойдет в моем случае, чтобы с одной стороны закачать все нужное, а с другой стороны не закачать ничего лишнего.  
Очень буду признателен!  
 

Всего записей: 164 | Зарегистр. 09-12-2003 | Отправлено: 20:28 07-03-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В Offline Explorer (http://www.metaproducts.com/download/opsetup.exe) можно настроить закачку так - создать новый проект (не через Wizard), задать нужный адрес в качестве начального, уровень поставить какой-нибудь большой, скажем 20, в Фильтрах URL | Каталог выбрать произвольную конфигурацию и добавить следующее в список разрешенных каталогов:
 
/saphelp_46c/helpdata/en/
 
Этого будет достаточно.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 10:22 09-03-2004
mazafaka



Подданный Ru.Board'а
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
На мой взгляд, ни один из существующих ныне оффлайн браузеров не способен загрузить следующий урл:
 
http://gosh.msfnhosting.com/
 
Попробуйте plz, может Ваш оффлайн браузер сможет? Offline Explorer цепляет лишь стартовую страницу и файлы, находящиеся там.. Сами документы остаются в онлайне..
 
Спасибо!

Всего записей: 412 | Зарегистр. 28-09-2001 | Отправлено: 23:25 09-03-2004
Olsen



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
Спасибо за совет. Поставил на сутки закачиваться. Если закачается то скажу.  
PS просто это не первая и не вторая и не ... попытка заккачать эту страницу --- до этого пытался закачать с помощью WebCopier но он не справился --- основная проблема то что на сайте около нескольких сотен тысяч файлов.

Всего записей: 164 | Зарегистр. 09-12-2003 | Отправлено: 23:38 09-03-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
основная проблема то что на сайте около нескольких сотен тысяч файлов.

 
Убедитесь, что включена защита от перегрузки каталогов в Настройках | Расположение файлов.  
 

Цитата:
http://gosh.msfnhosting.com/ ... Сами документы остаются в онлайне..  

 
А какие именно документы? Я смотрю, что многие ссылки на этом сайте ведут на другие сайты - может просто разрешить закачку с других серверов?

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 09:07 10-03-2004
mazafaka



Подданный Ru.Board'а
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
Способ скачать сайт я нашел, но способ полон идиотизма. Сайт сделан на javascript, и скачав сам скрипт я руками выбирал htm страницы, после чего запихнул их в OE..
 
Вот список тех страниц, которые прописаны в gosh.msfnhosting.com/resources/custom.js (вернее те, которые я скормил на скачку OE):
gosh.msfnhosting.com/history.htm
gosh.msfnhosting.com/aio_example.htm
...
gosh.msfnhosting.com/txtsetup.htm
gosh.msfnhosting.com/infresh.htm
gosh.msfnhosting.com/oemfolder.htm
gosh.msfnhosting.com/verify.htm
(хттп:// убрал специально)
 
Если я указываю OE скачать gosh.msfnhosting.com, он скачивает все файлы указанные в js скриптах и дефолтовую страницу (там, где фото девочки довольно-таки симпатичной)..

Всего записей: 412 | Зарегистр. 28-09-2001 | Отправлено: 20:10 10-03-2004 | Исправлено: mazafaka, 20:16 10-03-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Если я указываю OE скачать gosh.msfnhosting.com, он скачивает все файлы указанные в js скриптах и дефолтовую страницу (там, где фото девочки довольно-таки симпатичной)..

 
А что же конкретно нужно было скачать? И потом, проще запустить закачку и после скачивания скриптов нажать F9 и в Очереди удалить все лишнее.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 09:50 11-03-2004 | Исправлено: OlegChernavin, 09:52 11-03-2004
mazafaka



Подданный Ru.Board'а
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
задача: скачать файлы и указанные мной в предыдущем посте страницы, но не указывая их подобным образом, а лишь прописав стартовый урл - gosh.msfnhosting.com..  
 
т.е. OE по идее должен скачать и обработать javascript и затем приступить к страницам и файлам, прописанным в js.. однако OE скачивает лишь файлы, игнорируя страницы..

Всего записей: 412 | Зарегистр. 28-09-2001 | Отправлено: 18:07 11-03-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Очень просто - поставьте уровень 2 или больше для проекта.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 12:04 12-03-2004
Breaker1973



Сенсей
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
WebZIP 6.0.6.914  
_http://www.spidersoft.com/webzip/webzip60_setup.exe

----------
Баку - город ветров.

Всего записей: 33190 | Зарегистр. 08-02-2002 | Отправлено: 21:07 14-03-2004
TCPIP

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В Offline Explorer очень прельщают URL-макросы. Может и можно как-то работать и без них, но тупо мне не удавалось правильно скачать ни один сайт, URL, которых заканчиваются на ?=1&pagenum=here_goes_web_page_number, кроме как с помощью Offline Explorer.

Всего записей: 4667 | Зарегистр. 31-01-2003 | Отправлено: 03:01 15-03-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
gosh.msfnhosting.com
 
т.е. OE по идее должен скачать и обработать javascript и затем приступить к страницам и файлам, прописанным в js.. однако OE скачивает лишь файлы, игнорируя страницы..

 
Эту проблему подняли еще и в другом топике. Разобрался. В проект нужно добавить еще один адрес:
 
http://gosh.msfnhosting.com/resources/menu_ie5.js

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 00:53 20-03-2004
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
OlegChernavin
Не появилась ли страничка с описанием какая из возможностей что означает?

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 11:54 03-04-2004
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Мы сейчас работаем над тем, чтобы вся таблица хранилась в базе данных. Может быть уже на этой неделе закончим. Тогда можно будет без проблем обновлять все языковые версии таблицы без проблем.
 
Подробное описание возможностей сейчас примерно наполовину готово на англ. языке.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 13:45 05-04-2004
IvenGo



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
OlegChernavin, кстати кто еще кроме тебя работает над OE ? Мне среди старых моих дисков как-то попался  WebDownloader ;). Помнится как-то сам хотел его доработать; обратился за исходничком по почте , а в ответ тишина. Теперь понимаю почему. ;)

Всего записей: 197 | Зарегистр. 19-08-2003 | Отправлено: 14:15 05-04-2004
TTX

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Можно в OE задавать ограничение скорости закачки в конкретных числах?

Всего записей: 134 | Зарегистр. 16-09-2003 | Отправлено: 16:31 05-04-2004
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru