Orlon Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Сравниваем возможности и недостатки оффлайн-браузеров: OfflineExplorer - (Pro/Potable/Enterprise) Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)   WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot... Что лучше?   ТАБЛИЦЫ СРАВНЕНИЯ :   1. по версии разработчика OfflineExplorer цитата 2. по версии автора статьи на iXBT.com   Путеводитель по offline-браузерам подробная серия статей на iXBT.com   Родственные темы: Web Organizer-ы (CyberArticle, NetCollector, etc.,) Мониторинг обновления web-сайтов RSS Feed Readers | News Aggregators Сохранение составного flash rutv.ru Скачиваем потоковое видео Всего записей: 549 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011

shveicar Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Во первых лучше пользоваться версией offline 5.9 sp1или 2 (по выбору) Во вторых надо внимательно смотреть настройки (чтобы ограничить закачку от <всего интернета>) самая простая настройка - проект - свойства- фильтры url - сервер- поставить галочку загружать только с начального сервера. В остальных свойствах а именно типы файлов -указать для нужных типов - загружать с начального сервера (ну а вообще для более тонкой настройки нужно задать пропуск url - более подробная информация есть в русской справке и на форуме) например - forum.ru-board.com/topic.cgi?forum=5&topic=34346&start=120 Всего записей: 333 | Зарегистр. 26-09-2010 | Отправлено: 02:23 17-04-2011

jason32 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Тысячу лет не пользовался подобными программами, посоветуйте, какую качнуть. Задача странная, но нужная - качнуть Лурк )) . Всего записей: 714 | Зарегистр. 08-11-2004 | Отправлено: 21:08 01-05-2011

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору jason32 Боитесь, что он повторит судьбу Драматики? :) Имейте в виду, там наверняка ограничения по юзер-агентам, да и вообще по массовым запросам.   А так, пользуйтесь тем, что вам привычней. Если хотите иметь возможность посоветоваться конкретно со мной, то берите httrack. ;) Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 21:26 01-05-2011

Engaged Clown Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору sveta svetik Website Watcher. Всего записей: 8782 | Зарегистр. 08-06-2006 | Отправлено: 02:26 19-06-2011

K_Ok_O_S Full Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Offline Explorer и httrack пробовал - не могут взять внешний js. Какие-то проги могут?   Страничка с кликабельными превьюшками http://www.ms77.ru/articles/biblioteka/50176/ . Большие картинки не качаются.   Каталог http://www.ms77.ru/show.image.up/ включал в правила закачки . "Вычислять выражения в скриптах" включил. Уровень 1.     Страничка содержит такой код:   <a rel="nofollow" href="#" id="100723074431_big.jpg" onclick="OpenImageUp(this.id); return false;"><img src="../../../images/100723074431_small.jpg" /></a>   OpenImageUp - функция из http://www.ms77.ru/manager/img/common.js  . Скрипт в проекте закачался. Вот функция:   function OpenImageUp(fn){     w = 600;     h = 400;     size="height="+h+",width="+w+", status=no, toolbar=no, menubar=no, scrollbars=1'";     //     if (parseInt(navigator.appVersion)>3)         size+=",left="+(screen.width -w)/2+",top="+parseInt((screen.height -h)/2);     //     url = "/show.image.up/"+fn+"/";     open(url, 'image_win', size); } Всего записей: 445 | Зарегистр. 13-07-2007 | Отправлено: 00:31 11-07-2011

Nikolay777 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Помогите подобрать программу или решить одну задачу. Требуется найти текст на сайте и   ссылки. Всего записей: 183 | Зарегистр. 20-10-2007 | Отправлено: 17:51 30-07-2011

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Nikolay777 (в продолжение вот этого нашего разговора) А какие тут могут быть варианты? Рекурсивно грузите на локальную машину все страницы, а затем рекурсивно ищите в них то, что вам нужно.   Пример:   $ wget -mE http://example.org $ grep -f patterns -R example.org   , где patterns — файл со списком поисковых шаблонов (чего ищем), разделенных переводом строки. ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 00:58 31-07-2011 | Исправлено: ASE_DAG, 02:45 31-07-2011

Nikolay777 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору и куда этот код пехать? Всего записей: 183 | Зарегистр. 20-10-2007 | Отправлено: 01:02 31-07-2011

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Nikolay777 Пехать? :) Это не код, это команды. См. «Зачатки FAQ'а». ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 01:06 31-07-2011

Nikolay777 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Ладно, зря я наверное зря  спросил.... не в ту тему зашёл. А нельзя это без линукса решить?  С помощью например софта по windows? Всего записей: 183 | Зарегистр. 20-10-2007 | Отправлено: 01:09 31-07-2011

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Nikolay777 > А нельзя это без линукса решить?   Можно, конечно. Во-первых, я это в качестве работающего примера привел, софта с подобных функционалом завались.   А во-вторых, причем тут вообще линукс (я про него ничего не говорил). И GNU Wget, и GNU Grep — программы кроссплатформенные, пожалуйста, используйте и под Виндой (даже без Цигвина). Вот тут бинарники: http://gnuwin32.sourceforge.net ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 01:14 31-07-2011 | Исправлено: ASE_DAG, 02:23 31-07-2011

Nikolay777 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору наверное я ещё не дорос до таких вещей... Спасибо за помощь. Всего записей: 183 | Зарегистр. 20-10-2007 | Отправлено: 02:17 31-07-2011

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору > наверное я ещё не дорос до таких вещей... В каком смысле «не дорос»? :-) Чего здесь сложного? Вы спрашивайте, не стесняйтесь, я попробую объяснить.   P.S. А! Вы, может быть, совсем не понимаете по-английски? ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 02:24 31-07-2011

Nikolay777 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Нет, я его определённо знаю, но вот гуглтранслейт почему то знает его лучше) Единственно, что я понял, так это то что мне нужна сборка данной программы с графической оболочкой. Всего записей: 183 | Зарегистр. 20-10-2007 | Отправлено: 02:43 31-07-2011 | Исправлено: Nikolay777, 02:44 31-07-2011

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Nikolay777 >  знаю, но вот гуглтранслейт почему то знает его лучше Хорошее определение, надо запомнить. ;-)   > что я понял, так это то что мне нужна сборка данной программы с графической оболочкой ГУЙ для Вэ-гета и Грепа? О_о Нафига? Вам же автоматизация была нужна. Да и нету их.   Значит так, я бы на вашем месте все-таки установил Цигвин. Он здесь совершенно не нужен, но может когда-нибудь потребоваться в будущем, плюс у него просто подружелюбней инсталлятор. Итак: http://cygwin.com/setup.exe Когда дойдете до выбора пакетов (кои ставим), убедитесь, что wget и grep отмечены для установки (хотя, по-моему, они в дефолтной поставке, но на всякий случай).   Как с этим пунктом справитесь — напишите. Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 02:53 31-07-2011 | Исправлено: ASE_DAG, 02:54 31-07-2011

Nikolay777 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору поставил цигвин раза с 5го)) Всего записей: 183 | Зарегистр. 20-10-2007 | Отправлено: 08:53 31-07-2011

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Nikolay777 > поставил цигвин раза с пятого В одиночку ставили? Мне казалось, с пятого одному не справиться, тут помощник нужен.   Ладно. Теперь запускайте командную оболочку («Cygwin Bash Shell») и, если еще не начали, ставьте на рекурсивную загрузку сайтек: $ wget -mE http://example.org ; и составляйте список шаблонов, по которым искать будете. ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 17:47 31-07-2011 | Исправлено: ASE_DAG, 17:48 31-07-2011

ASE_DAG Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору nye   Если вам не нужна замена ссылок между страницами на относительные, то проще всего именно что составить файлик со всеми ссылками к загрузке $ awk 'BEGIN { for (i=1; i<=547657; i++) print "http://12345.com/post/show/"i }' > url.list # или как вам это удобнее будет сделать   , а потом согласно нему загрузить $ wget -pE -i url.list .   Если нужна, то придется таки по ссылкам ходить, что, безусловно, дольше. Например, HTTRack'ом: $ httrack -* +http://12345.com/post/show/* http://12345.com/post/show/1 # дословно то, о чем вы говорили   Цитата: http://12345.com/post/show/1 http://12345.com/post/show/2 http://12345.com/post/show/3 http://12345.com/post/show/4 ... http://12345.com/post/show/547657   И как задать такой диапазон адресов, если нет общей страницы со ссылками на них, но точно известны адреса всех нужных к скачиванию страниц (адреса к примеру выше)   Цитата: Страница http://12345.com/post/show/N может ссылаться на следующую страницу http://12345.com/post/show/N+ и так ддалее. То есть, страницы могут образовывать цепочку ссылок. И чтобы добраться до страницы http://12345.com/post/show/547000 неоходимо указывать уровень....   А хотелось бы в качестве стартовой страницы указать маску http://12345.com/post/show/* ---------- Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC] Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 19:44 18-09-2011 | Исправлено: ASE_DAG, 19:47 18-09-2011

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование