Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Открыть новую тему     Написать ответ в эту тему

Orlon



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сравниваем возможности и недостатки оффлайн-браузеров:
OfflineExplorer - (Pro/Potable/Enterprise)
Teleport - (Pro-$50/Ultra-$200/VLX-$2000/Exec-$2500)
 
WebCopier, Webzip, SXBandMaster, WebTransporter, HTTrack, Wget, Wysigot...
Что лучше?
 
ТАБЛИЦЫ СРАВНЕНИЯ :
 
1. по версии разработчика OfflineExplorer цитата
2. по версии автора статьи на iXBT.com
 
Путеводитель по offline-браузерам подробная серия статей на iXBT.com
 
Родственные темы:
Web Organizer-ы (CyberArticle, NetCollector, etc.,)
Мониторинг обновления web-сайтов
RSS Feed Readers | News Aggregators
Сохранение составного flash
rutv.ru Скачиваем потоковое видео

Всего записей: 547 | Зарегистр. 08-01-2002 | Отправлено: 03:21 30-01-2002 | Исправлено: ASE_DAG, 02:41 08-09-2011
shveicar



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Во первых лучше пользоваться версией offline 5.9 sp1или 2 (по выбору) Во вторых надо внимательно смотреть настройки (чтобы ограничить закачку от <всего интернета>) самая простая настройка - проект - свойства- фильтры url - сервер- поставить галочку загружать только с начального сервера. В остальных свойствах а именно типы файлов -указать для нужных типов - загружать с начального сервера (ну а вообще для более тонкой настройки нужно задать пропуск url - более подробная информация есть в русской справке и на форуме) например - forum.ru-board.com/topic.cgi?forum=5&topic=34346&start=120

Всего записей: 324 | Зарегистр. 26-09-2010 | Отправлено: 02:23 17-04-2011
jason32



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Тысячу лет не пользовался подобными программами, посоветуйте, какую качнуть. Задача странная, но нужная - качнуть Лурк )) .

Всего записей: 471 | Зарегистр. 08-11-2004 | Отправлено: 21:08 01-05-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
jason32
Боитесь, что он повторит судьбу Драматики? :)
Имейте в виду, там наверняка ограничения по юзер-агентам, да и вообще по массовым запросам.
 
А так, пользуйтесь тем, что вам привычней.
Если хотите иметь возможность посоветоваться конкретно со мной, то берите httrack. ;)

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 21:26 01-05-2011
sveta svetik

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
подскажите а какая из прог может сравнить копии и выделить изменения
 
 
Добавлено:
люди аууууууууууууу

Всего записей: 7 | Зарегистр. 23-03-2011 | Отправлено: 12:58 18-06-2011
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
sveta svetik
Website Watcher.

Всего записей: 8687 | Зарегистр. 08-06-2006 | Отправлено: 02:26 19-06-2011
K_Ok_O_S



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Offline Explorer и httrack пробовал - не могут взять внешний js. Какие-то проги могут?
 
Страничка с кликабельными превьюшками http://www.ms77.ru/articles/biblioteka/50176/ . Большие картинки не качаются.
 
Каталог http://www.ms77.ru/show.image.up/ включал в правила закачки . "Вычислять выражения в скриптах" включил. Уровень 1.  
 
Страничка содержит такой код:
 
<a rel="nofollow" href="#" id="100723074431_big.jpg" onclick="OpenImageUp(this.id); return false;"><img src="../../../images/100723074431_small.jpg" /></a>
 
OpenImageUp - функция из http://www.ms77.ru/manager/img/common.js  . Скрипт в проекте закачался. Вот функция:
 
function OpenImageUp(fn){
    w = 600;
    h = 400;
    size="height="+h+",width="+w+", status=no, toolbar=no, menubar=no, scrollbars=1'";
    //
    if (parseInt(navigator.appVersion)>3)
        size+=",left="+(screen.width -w)/2+",top="+parseInt((screen.height -h)/2);
    //
    url = "/show.image.up/"+fn+"/";
    open(url, 'image_win', size);
}

Всего записей: 416 | Зарегистр. 13-07-2007 | Отправлено: 00:31 11-07-2011
Nikolay777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Помогите подобрать программу или решить одну задачу.
Требуется найти текст на сайте и   ссылки.

Всего записей: 180 | Зарегистр. 20-10-2007 | Отправлено: 17:51 30-07-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nikolay777
(в продолжение вот этого нашего разговора)
А какие тут могут быть варианты?
Рекурсивно грузите на локальную машину все страницы, а затем рекурсивно ищите в них то, что вам нужно.
 
Пример:
 
$ wget -mE http://example.org
$ grep -f patterns -R example.org

 
, где patterns — файл со списком поисковых шаблонов (чего ищем), разделенных переводом строки.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 00:58 31-07-2011 | Исправлено: ASE_DAG, 02:45 31-07-2011
Nikolay777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
и куда этот код пехать?

Всего записей: 180 | Зарегистр. 20-10-2007 | Отправлено: 01:02 31-07-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nikolay777
Пехать? :)
Это не код, это команды. См. «Зачатки FAQ'а».

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 01:06 31-07-2011
Nikolay777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ладно, зря я наверное зря  спросил.... не в ту тему зашёл. А нельзя это без линукса решить?  С помощью например софта по windows?

Всего записей: 180 | Зарегистр. 20-10-2007 | Отправлено: 01:09 31-07-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nikolay777
> А нельзя это без линукса решить?  
Можно, конечно.
Во-первых, я это в качестве работающего примера привел, софта с подобных функционалом завались.  
А во-вторых, причем тут вообще линукс (я про него ничего не говорил). И GNU Wget, и GNU Grep — программы кроссплатформенные, пожалуйста, используйте и под Виндой (даже без Цигвина). Вот тут бинарники: http://gnuwin32.sourceforge.net

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 01:14 31-07-2011 | Исправлено: ASE_DAG, 02:23 31-07-2011
Nikolay777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
наверное я ещё не дорос до таких вещей... Спасибо за помощь.

Всего записей: 180 | Зарегистр. 20-10-2007 | Отправлено: 02:17 31-07-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
> наверное я ещё не дорос до таких вещей...
В каком смысле «не дорос»? :-)
Чего здесь сложного? Вы спрашивайте, не стесняйтесь, я попробую объяснить.
 
P.S. А! Вы, может быть, совсем не понимаете по-английски?

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 02:24 31-07-2011
Nikolay777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Нет, я его определённо знаю, но вот гуглтранслейт почему то знает его лучше)
Единственно, что я понял, так это то что мне нужна сборка данной программы с графической оболочкой.

Всего записей: 180 | Зарегистр. 20-10-2007 | Отправлено: 02:43 31-07-2011 | Исправлено: Nikolay777, 02:44 31-07-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nikolay777
>  знаю, но вот гуглтранслейт почему то знает его лучше
Хорошее определение, надо запомнить. ;-)

 
> что я понял, так это то что мне нужна сборка данной программы с графической оболочкой
ГУЙ для Вэ-гета и Грепа? О_о Нафига? Вам же автоматизация была нужна. Да и нету их.
 
Значит так, я бы на вашем месте все-таки установил Цигвин. Он здесь совершенно не нужен, но может когда-нибудь потребоваться в будущем, плюс у него просто подружелюбней инсталлятор.
Итак: http://cygwin.com/setup.exe
Когда дойдете до выбора пакетов (кои ставим), убедитесь, что wget и grep отмечены для установки (хотя, по-моему, они в дефолтной поставке, но на всякий случай).
 
Как с этим пунктом справитесь — напишите.

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 02:53 31-07-2011 | Исправлено: ASE_DAG, 02:54 31-07-2011
Nikolay777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
поставил цигвин раза с 5го))

Всего записей: 180 | Зарегистр. 20-10-2007 | Отправлено: 08:53 31-07-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nikolay777
> поставил цигвин раза с пятого
В одиночку ставили? Мне казалось, с пятого одному не справиться, тут помощник нужен.
 
Ладно. Теперь запускайте командную оболочку («Cygwin Bash Shell») и, если еще не начали, ставьте на рекурсивную загрузку сайтек:
$ wget -mE http://example.org
; и составляйте список шаблонов, по которым искать будете.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 17:47 31-07-2011 | Исправлено: ASE_DAG, 17:48 31-07-2011
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nye
 
Если вам не нужна замена ссылок между страницами на относительные, то проще всего именно что составить файлик со всеми ссылками к загрузке
$ awk 'BEGIN { for (i=1; i<=547657; i++) print "http://12345.com/post/show/"i }' > url.list # или как вам это удобнее будет сделать
 
, а потом согласно нему загрузить
$ wget -pE -i url.list
.
 
Если нужна, то придется таки по ссылкам ходить, что, безусловно, дольше. Например, HTTRack'ом:
$ httrack -* +http://12345.com/post/show/* http://12345.com/post/show/1 # дословно то, о чем вы говорили
 



Цитата:
http://12345.com/post/show/1
http://12345.com/post/show/2
http://12345.com/post/show/3
http://12345.com/post/show/4
...
http://12345.com/post/show/547657
 
И как задать такой диапазон адресов, если нет общей страницы со ссылками на них, но точно известны адреса всех нужных к скачиванию страниц (адреса к примеру выше)

 

Цитата:
Страница http://12345.com/post/show/N может ссылаться на следующую страницу http://12345.com/post/show/N+ и так ддалее. То есть, страницы могут образовывать цепочку ссылок. И чтобы добраться до страницы http://12345.com/post/show/547000 неоходимо указывать уровень....
 
А хотелось бы в качестве стартовой страницы указать маску http://12345.com/post/show/*


----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 19:44 18-09-2011 | Исправлено: ASE_DAG, 19:47 18-09-2011
Vasily90

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, как скачать целиком форум, на котором некоторые разделы становятся видны только после логина. Пробовал Teleport Pro, Free Download Manager и wget. В первых двух при создании проекта есть галка "требуется авторизация" с полями для логина и пароля, но это не спасает. Как не спасает и предварительный логин на форум через IE с сохранением cookies.

Всего записей: 12 | Зарегистр. 15-05-2009 | Отправлено: 02:14 15-10-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33

Компьютерный форум Ru.Board » Компьютеры » Программы » Рекурсивная загрузка веб-сайтов; оффлайн-браузеры (OfflineExplorer, TeleportPro, HTTrack)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru