Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
DimitarSerg



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
ага.. Утром еще работал.

----------
Total Commander 10.00 IT Edition 4.4
Хто з мечем прийде до нас, від меча і загине!

Всего записей: 3405 | Зарегистр. 26-05-2010 | Отправлено: 16:56 07-05-2012
obtim



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
...

----------
Дьявол коварен - он может явиться к нам просто в образе дьявола

Всего записей: 8943 | Зарегистр. 03-03-2002 | Отправлено: 13:02 13-06-2012 | Исправлено: obtim, 13:07 13-06-2012
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
obtim
 
Offline Explorer Pro - открыть сайт онлайн во встроенном браузере Offline Explorer Pro и залогиниться там. После этого скачивать.
 
Или на этой онлайн странице (также во встроенном браузере) заполнить поля пользователя и пароля и при клике на кнопку логина держать нажатыми клавиши Ctrl+Alt - создастся проект для скачивания этого сайта с запомненными полями ввода.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 15:41 13-06-2012
stowmar

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
продублирую вопрос из др темы: если например на сайте есть вкладка которая открывается по скрипту onclick, при этом адрес страницы не изменяется. можно ли загрузить данные из этой вкладки?

Всего записей: 5 | Зарегистр. 27-06-2012 | Отправлено: 15:07 27-06-2012
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
stowmar
 
Если не скачивается, попробуйте в режиме автосохранения в Offline Explorer - нужно выбрать скачанный проект, нажать кнопку Автосохранение на панели встроенного браузера и кнопку Просмотр на основной панели инструментов.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 17:59 27-06-2012
Falbhanachaich

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добрый день!
Вопрос к экспертам такой: как скачать с сайта файлы, которые не видит ни один загрузчик, но которые там есть (!!?).
 
Как это ни глупо или парадоксально звучит, но дело не так просто. Смысл такой: если пытаться выкачать сайт или его часть известными загрузчиками, то этот файл не виден ни при каких настройках и фильтрах. Однако, если ввести точный путь с именем файла, то файл закачивается именно с этого адреса!! Папка не закрытая (другие файлы там видны и качаются).
 
Конкретика:
Имеем сайт (subpath) http://delta-intkey.com/angio/
На сайте имеется файл intkeyw.zip
Файл этот увидеть (и соотв. скачать) можно единственным образом: введя полный путь; соотв. http://delta-intkey.com/angio/intkeyw.zip
То бишь, если доподлинно этого не знать (каким-то чудесным образом), проведать о его наличии вообще невозможно!
 
Я перепробовал несколько "звучных" и не очень даунлоадеров: Teleport Pro, Webzip7, Intellitamper... Ни при каких настройках этот файл не находится; в частности, в Teleport Pro можно ввести маску архивов, или даже принудительно поставить пользовательскую *.zip, но этот файл всё равно не найдётся!
 
Соответственно возникают сомнения, что на том или ином сайте присутствуют и другие файлы, которые могут быть нам нужны, но о которых мы так и не узнаем (хотя, в принципе, пути даже не зашифрованы).
 
Похожий вопрос, в частности, поднимался тж. вот здесь:
http://forum.xakep.ru/m_1582619/mpage_1/key_/tm.htm
но и там люди не дали вменяемого ответа.

Всего записей: 133 | Зарегистр. 22-02-2006 | Отправлено: 04:39 15-08-2012 | Исправлено: Falbhanachaich, 04:40 15-08-2012
Donatello



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Falbhanachaich

Цитата:
Вопрос к экспертам такой: как скачать с сайта файлы, которые не видит ни один загрузчик, но которые там есть (!!?).  

 
Никак, если только они не прописаны где-то в html (текстовом виде), либо только методом перебора. Что значит папка не закрытая? =) В этой папке лежит index.htm, который и выдается при заходе на http://delta-intkey.com/angio/ Если бы этого, либо любого другого индексного файла не было, то сервер мог бы выдать листинг каталогов/файлов, а мог бы выдать Доступ запрещен - 403 и т.п., если листинг каталогов запрещен.

----------
Манифест
Правда24
Лучше быть хорошим человеком, «ругающимся матом», чем тихой, воспитанной тварью. Ф.Г. Раневская

Всего записей: 4303 | Зарегистр. 17-08-2003 | Отправлено: 07:22 15-08-2012
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Методом перебора можно - в Offline Explorer Pro есть макросы - можно попробовать все комбинации символов. Если задать небольшое количество символов и только маленькие буквы, то за несколько дней можно все перебрать:
 
http://delta-intkey.com/angio/{:a..z}{:a..z}{:a..z}{:a..z}{:a..z}{:a..z}{:a..z}.zip  
 

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 14:28 15-08-2012
Falbhanachaich

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Donatello
OlegChernavin
 
Благодарю за помощь, буду пробовать!
 
"Папка не закрытая" )) это моя некомпетентность, к слову пришлось; из топика там человек писал, что типа даже из зашифрованной папки можно вот так вытащить файл, зная его точный URL, вот я и написал...
Тогда ещё один вопрос, уже абстрактного характера: а почему другие файлы загрузчики видят в этой папке, а zip — нет? Потому что они в index.html прописаны? Или?
Да и, кстати, многие файлы графики Teleport Pro тоже пропускает; причём как-то совсем спорадично, выборочно. В подпапках этого сайта он пропустил много файлов, которые ОН ЖЕ увидел, но по маске (например, файлы thon*.gif, lede*.gif, halor414.gif), и которые увидел даже тот же Intellitamper...

Всего записей: 133 | Зарегистр. 22-02-2006 | Отправлено: 15:38 15-08-2012 | Исправлено: Falbhanachaich, 15:46 15-08-2012
Donatello



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Falbhanachaich

Цитата:
Тогда ещё один вопрос, уже абстрактного характера: а почему другие файлы загрузчики видят в этой папке, а zip — нет? Потому что они в index.html прописаны? Или?

 
Какие другие? Мне за тебя посмотреть html-код index.htm и вставить его сюда или всё-таки ты сам знаешь, как посмотреть html-код страницы? ))
Ещё раз, на пальцах... Есть начало всего - индексный файл, в данном случае index.htm На него натравливается программа, программа смотрит html-код страницы и забирает оттуда все ссылки, также она может обработать вставленые скрипты на странице - вытащить ссылки и из них. И в зависимости от настроек, уже начинает ходить/скачивать по этим ссылкам, далее, если она ещё находит ссылки, она также по ним пойдет и так до бесконечности, пока не кончатся ссылки или не ограничится это всё настройками. Если программа в процессе работы обращается к каталогу, где разрешен листинг, то сервер вываливает ей список папок или файлов, со всеми вытекающими. У OE можно также включить опцию - Исследовать все возможные подкаталоги. Вот например здесь - http://delta-intkey.com/angio/www/ индексного файла нет и разрешен листинг. Такие программы называют ещё пауками, она может уйти х.з. куда, но... по паутинке. А из воздуха брать ссылки, они как бы не умеют ))
 
Там достаточно много каталогов с разрешенным листингом - http://delta-intkey.com/www/offline.htm
http://delta-intkey.com/angio/images
http://delta-intkey.com/www

----------
Манифест
Правда24
Лучше быть хорошим человеком, «ругающимся матом», чем тихой, воспитанной тварью. Ф.Г. Раневская

Всего записей: 4303 | Зарегистр. 17-08-2003 | Отправлено: 19:48 15-08-2012 | Исправлено: Donatello, 20:22 15-08-2012
Falbhanachaich

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всё (надеюсь) более или менее ясно. Как посмотреть код — вроде как знаю )) даже был грешок такой, ваял почти полностью на блокноте сайт,  с форумами и гостевыми)
Вот чего не знал — принципа работы подобных программ; я-то думал, что они просто видят структуру и содержание сайта, как я вижу свой жёсткий диск в проводнике, со всеми файлами . А не идут по цепочке ссылок, начиная от индекса. Отсюда и глупый вопрос, но теперь вы меня просветили, за что душевное спасибо.

Всего записей: 133 | Зарегистр. 22-02-2006 | Отправлено: 01:42 16-08-2012
Donatello



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Falbhanachaich

Цитата:
я-то думал, что они просто видят структуру и содержание сайта, как я вижу свой жёсткий диск в проводнике, со всеми файлами . А не идут по цепочке ссылок, начиная от индекса.

 
Странные какие-то думки... А кто им должен предоставлять карту сайта? Чтобы видеть структуру чего-то, нужно эту структуру ещё создать. Они идут оттуда, откуда зашли - какой URL был указан начальным.

----------
Манифест
Правда24
Лучше быть хорошим человеком, «ругающимся матом», чем тихой, воспитанной тварью. Ф.Г. Раневская

Всего записей: 4303 | Зарегистр. 17-08-2003 | Отправлено: 03:27 16-08-2012
donbaton

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Помогите. Нужно бесплатной программой скачать сайт. Проблема в том, что между обращениями к страницам надо задать паузу в 7 секунд, так как стоит ограничение на сайте.

Всего записей: 170 | Зарегистр. 18-03-2009 | Отправлено: 14:26 27-09-2012
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В Offline Explorer можно без проблем поставить паузу в 7 секунд и даже рандомную, например, от 5 до 10. И одно соединение.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 15:21 27-09-2012
HandyCache

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добрый день! В OfflineExplorer есть возможность скачивать страницы до ключевого слова - SkipParsingAfter. Когда указанный текст найден, остальная часть файла пропускается. но он скачивает всю страницу, а на hdd сохраняет до ключевого слова (часть страницы). Существует ли оффлайн-браузер который может скачивать страницу частично, экономя трафик и время?

Всего записей: 130 | Зарегистр. 09-10-2008 | Отправлено: 14:59 17-10-2012 | Исправлено: HandyCache, 15:38 17-10-2012
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
HandyCache
 
Я постараюсь сделать это в ближайшее время. На самом деле, можно не докачивать страницу, если найден текст из такой опции.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 17:11 17-10-2012
HandyCache

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin Спасибо. Буду ждать.

Всего записей: 130 | Зарегистр. 09-10-2008 | Отправлено: 17:30 17-10-2012
zzzUUUzzz

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Скачиваю с адреса www.koran.islamnews.ru , но после нажатия на кнопку "Показать" происходит перенаправление на сайт. Может надо код кнопки поменять? Кто-то знает куда копать?

Всего записей: 216 | Зарегистр. 12-12-2007 | Отправлено: 03:48 01-11-2012
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
zzzUUUzzz
 
В Offline Explorer - окне Свойств проекта - секция Обработка - нужно включить обработку HTML форм.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 12:43 01-11-2012
Roman2S

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ребята, подскажите оффлайн браузер который поддерживал фильтер урлов, где можно указать только какие урлы можно скачивать.
 
К сожалению скачал Offline Explorer, но там только запрет с каких урлов нельзя скачивать.

Всего записей: 4 | Зарегистр. 10-11-2012 | Отправлено: 22:16 10-11-2012
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru