Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » MetaProducts Offline Explorer | Offline Browser

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53

Открыть новую тему     Написать ответ в эту тему

unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
MetaProducts Offline Explorer / Portable Offline Browser (Часть 3): Часть 1 Часть 2
--== Сопутствующая тема в разделе Варезник ==--

Offline Explorer™
Portable Offline Browser™
Текущая версия: 8.5.0.4972 ЦП 11.11.2023
Производитель: © 1997-2023 MetaProducts Systems.


Программа предназначена для загрузки, сохранения и экспорта в различные форматы целых сайтов и/или выбранных частей сайта, а также отдельных веб-страниц. При скачивании и сохранении доступно огромное число настроек и опций, позволяющих настроить скачивание под конкретный сайт, независимо от того является ли его контент динамическим или статическим. В качестве форматов экспорта могут выступать точные статические копии сайтов, как в виде вариантов предназначенных для оффлайн использования, так и для онлайн использования; в виде единого файла в формате HTML Help (.CHM); в формате мультифайлового html архива (.MHT); в формате электронной книги в виде исполняемого файла (.EXE); в виде Zip архива.

Portable Offline Browser - скачать - вариант предназначеный для работы с USB/FireWire Flash/HDD!
Offline Explorer Enterprise - скачать - практически не имеет ограничений по сложности проекта.
Offline Explorer Pro - скачать - представляет собой решение среднего уровня.
Offline Explorer - скачать - это решение начального уровня для простых работ.


Скрипты расширяющие возможности программы:
Второе дерево проектов (если вам не хватает одного).
Показать проекты с описаниями (выделенные цветом или со значком) - автор скрипта Rush.
Статьи об Offline Explorer:
FAQ темы
!!! советы, предостережения
!!! Для корректного копирования проектов из этой темы, устанавливаем и пользуемся vbs-модулем от ViSiToR, или же скриптом от Nagual
(после копирования переходим в дерево Offline Explorer и жмём Ctrl+V)
!!! Просьба постить проекты между тегами [more][/more], чтоб не портить читабельность темы.

Родственные темы:
Сравнение оффлайн-браузеров
TextPipe

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 16:24 07-12-2015 | Исправлено: Luber, 15:17 11-11-2023
Foss

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Antonij72
Думаю, что легко и красиво эту задачу решить затруднительно.
Насколько я могу понять, там вебхелп сделан в программе MadCap Flare и соответственно, все на js скриптах держится. То есть, не только проблема скачать все, но и проблема - чтобы потом это заработало в первоначальном виде.
В общем, на мой взляд, проще скачать тупо страницы (список находится в скритах вида Toc_ChunkX.js), удалить из них лишнее, создать toc и скомпилировать в chm, например
http://www84.zippyshare.com/v/lHnmlGA0/file.html
Можно и с полнотекстовым поиском, если  есть желание.
 
P.S. Вебхелп от второй версии - весьма простенький по конструкции, поскольку получен напрямую из chm файла с добавлением элементарной левой панельки с оглавлением. Потому он у вас и скачался и работает без проблем.

Всего записей: 1316 | Зарегистр. 15-04-2003 | Отправлено: 07:40 26-02-2017 | Исправлено: Foss, 07:50 26-02-2017
The_Immortal



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Друзья, подскажите, пожалуйста, что я делаю не так.
 
Задача: слить с сайта http://wallpaperswide.com все обои с разрешением 1920х1200.  
 
Проект
 - Адрес: http://wallpaperswide.com/
 - Уровень: 10
Фильтры файлов
 - Изображения - Загружать согласно фильтрам URL | Расширения: jpg, jpeg
Фильтры URL  
 -СерверЫ* - Загружать только с начального ... сервера
 -Имена файлов - Разрешенные: ".html", "1920x1200." (без кавычек, естественно)
 
Вот, собственно, и всё.
Из особенностей настроек на Интернет вкладке:
 -Кол-во соединений: 200
 -Таймаут: 3
 -Задержка между загрузками: 0
 -Увеличение скорости с помощью GZIP сжатия
 
В итоге обрабатывается 4457 файлов, при этом нужных обоев скачивается 15 штук и усё - проект завершается.
 
В чем может быть проблема?
 
 
Спасибо!
 
 
*Да здравствуют литературные формы!

Всего записей: 1542 | Зарегистр. 10-01-2009 | Отправлено: 08:38 26-02-2017 | Исправлено: The_Immortal, 09:04 26-02-2017
Foss

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
The_Immortal
Попробуйте такой файл настроек
http://www99.zippyshare.com/v/hIkkDQtV/file.html
(Файл - Настройки проекта - Загрузить из файла)
 

Цитата:
 -Кол-во соединений: 200  
 -Таймаут: 3  
 -Задержка между загрузками: 0

Не знаю насколько это хорошо - многие сайты не любят, когда их насилуют огромным числом соединений без задержек и блокируют такого потребителя (или чинят иные препядствия). Медийные сайты особо капризны в этом смысле.

Всего записей: 1316 | Зарегистр. 15-04-2003 | Отправлено: 10:55 26-02-2017 | Исправлено: Foss, 10:57 26-02-2017
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
D1D1D1D
 
Не могу воспроизвести - попробовал на нескольких компах, нет такого. А если Журнал вклбчить внизу программы - может какая-то ошибка будет?
 
Еще вопрос - а если такой сайт открыть во встроенном браузере - то любые сайты начинают скачиваться? Или только открытый, а другие так и висят?
 
Как быстрое решение, можно добавить в проект строчку для открытия сайта в браузере перед закачкой:
 
BrowseBeforeWithDelay=5;http://www.site.com
 
Задержка - в секундах.
 
Valeriu
 
Да, нажать Ctrl+F5 - закачка в режиме не скачивать существующие файлы.
 

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 15:09 26-02-2017
D1D1D1D

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ChernavinOleg
 
Потестировал по-разному, и судя по всему, закачка стартует, только если во встроенном браузере запущен соответствующий активному проекту сайт, на другие не реагирует. Если в браузере ранее загруженная страница просто открыта (не запущена с небольшим перерывом одновременно с проектом) — загрузка проекта работает в холостую.

Всего записей: 1368 | Зарегистр. 05-04-2010 | Отправлено: 16:38 26-02-2017
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
D1D1D1D
 
Пока попробуйте совет выше. Если пойму, отчего такое происходит, постараюсь исправить.

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 18:53 26-02-2017
The_Immortal



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Foss,
Цитата:
Попробуйте такой файл настроек  
Благодарю!
 
Если не сложно, то не могли бы прокомментировать пару моментов по Вашим настройками? А именно:
 
1. Почему Вы включили в Фильтры Файлов помимо изображений ещё и текст? Полагаю, это сделано для того, чтобы имитировать якобы более "живой" процесс просмотра страниц, дабы не отловить блокировку?  
Кстати, я со своими дикими настройками таки отловил 403 ошибку на просмотр любого контента на этом сайте Правда, через некоторое время мне опять дали добро.
 
2. В Фильтрах URL (Имена файлов) Вы пошли от противного и указали исключения. Если не секрет, почему? Ведь гораздо проще указывать Разрешенные имена, т.к. все исключения предугадать не получится и в итоге что-то лишнее, да попадет. Или я чего-то не понимаю?
 
P.S. Я не пытаюсь разводить демагогию, а просто хочу понять логику.

Всего записей: 1542 | Зарегистр. 10-01-2009 | Отправлено: 21:06 26-02-2017 | Исправлено: The_Immortal, 21:09 26-02-2017
Foss

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
The_Immortal
Файл настроек только для примера, как иллюстрация идеи.
Изменяйте, как вам удобнее, тем более у меня старая версия ОЕ.
 
Для информации. Файлы все равно скачиваются (ссылки, то откуда берутся?), кроме фильтров явного запрета. Насколько я понимаю, галочки влияют только на сохранение файлов (текст).
 
Исключения, потому что мне не хотелось перекачивать, если я что-то не предусмотрел. Лучше пусть лишнего накачает (удаление файлов никто не отменял), чем нужного не скачает (что чревато закачкой сначала, а для файла в пару сотен ссылок это болезненно).
 
Вообще там можно еще фильтров замены ссылок добавить и фильтров урл добавить. Но это все на ваш вкус. Я бросил это дело после скачивания трех тыс. обоек заданного размера (по массе они скучноватые с этого сайта и испорчены его логотипом в углу).

Всего записей: 1316 | Зарегистр. 15-04-2003 | Отправлено: 21:31 26-02-2017 | Исправлено: Foss, 21:35 26-02-2017
Nikollay



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем доброго времени суток.
Люди добры скинте пожалуйста проект для закачки раздела "варезник".
http://forum.ru-board.com/topic.cgi?forum=35
А то я как не стараюсь он начинает качать весь рубоард, нихрена не могу разобраться.
Вроде и программа не сложная (использую Portable Offline Browser, надеюсь что ее функционала для этого хватит)

Всего записей: 973 | Зарегистр. 30-07-2006 | Отправлено: 23:47 14-03-2017
vek3262



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Nikollay можно использовать xForumSaver

Всего записей: 5424 | Зарегистр. 02-09-2012 | Отправлено: 00:00 15-03-2017
Foss

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Nikollay

Цитата:
проект для закачки раздела "варезник".

Скачивать Варезник - занятие бессмысленное, поскольку >90% контента безвозвратно устарело и не может быть использовано даже при большом желании. Другое дело раздел Программы. Правда и он сильно сдал в отличие от видок-неповской эпохи, когда голдо-сильвер не был эквивалентен спамеру, как сейчас.
 
Не нужно ванговать, чтобы точно сказать, что скачав раздел/форум, довольно скоро вы похороните его у себя на компе или даже удалите скачанное, предпочтя онлайн версию. И скачивание через некоторое время окажется сизифовым трудом, а обновлять эту громадину (чтобы поддерживать актуальной)- почти равносильно скачиванию заново.
 
Но если вам все равно хочется, то проект должен включать ссылку вида
 
http://forum.ru-board.com/topic.cgi?forum=35&topic={2..80740}
 
где  
2 - первая тема (темы 1 - не существует)
80740 - номер самой последней темы в разделе
 
Нужно учесть, что часть тем с одним или двумя лидирующим нулями, а большинство - без них, но удаление нуля приводит к невозможности открытия топика, например
http://forum.ru-board.com/topic.cgi?forum=35&topic=0160
а топика
http://forum.ru-board.com/topic.cgi?forum=35&topic=160
не существует.
 
При этом, сейчас, похоже, настройки отображения в части периода отображения и разбиения по числу тем на странице не работают, как раньше
http://forum.ru-board.com/tools.cgi?action=settings
 и невозможно вывести постраничный список всех тем главной станице раздела (поправьте, если я ошибаюсь), чтобы показать что-то вида
http://forum.ru-board.com/forum.cgi?action=filter&forum=35&filterby=topictitle&word=a
 а это значит, что пользоваться скачанным контентом вы сможете через пень колода.
 
В фильтрах вам надо разрешить скачивание ссылок вида
*forum.ru-board.com/topic.cgi?forum=35*
и при этом выбрать опцию не скачивать существующие (то есть скачанные) файлы
Картинки - отовсюду, а все дополнительные файлы (css, js и проч.) - только с данного сервера.
 
Поскольку будет много несуществующих адресов, вам нужно поставить фильтр на содержимое страниц (типа если станица содержит текст "Такой темы не существует", "Незарегистрированный пользователь", то не скачивать).
 
И так далее.
 
Видите, как много нужно учесть и отладить, чтобы скачать полностью и при этом не накачать лишнего, в отношении контента, который, в конечном счете, будет представлять сомнительную ценность для вас.
 
Отлаживать за вас все это вряд ли кто будет до вида готового к употреблению проекта, просто потому, что вы не первый загоревшийся и затем остывший к этой идее.
Не забывайте, что никакие автоматизации (фильты, поиск и т.д.) после скачивания работать не будут, поскольку вы получите набор статичных (.html) файлов в отличие от набора скриптов (.php) и базы данных, которые в оригинале использует форум, чтобы все это работало.
 
Если же у вас будут конкретные вопросы, по частной проблеме при скачивании этого проекта, то возможно вам дадут конкретный совет. А с нуля все делать за вас – увольте.

Всего записей: 1316 | Зарегистр. 15-04-2003 | Отправлено: 03:06 15-03-2017
Nikollay



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А с нуля все делать за вас – увольте.
 

Мда... Не ожидал что все так сложно будет.
За ваше столь подробное сообщение Огромное спасибо.
Добавление в шапку ссылки на ваше сообщение, поможет тем кто будет после меня.
З.Ы. И вникнув в аши агрументы решил, что вы правы. Мне для себя достаточно создать буквально 50-60 ссылок на шапки интересующих меня тем, и время от времени их обновлять (ведь действительно не варезом едины) Чтоб хотябы иметь если не "всю книгу" то хоть "оглавление".
 
vek3262
Интересная программа пошел гляну что там.
 
Но самое интересное, что в такой мощной программе нет банального, качать только страницы адрес которых содержитforum=35, а все остальное игнорировать.
 

Всего записей: 973 | Зарегистр. 30-07-2006 | Отправлено: 08:44 15-03-2017
Foss

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Nikollay

Цитата:
Но самое интересное, что в такой мощной программе нет банального, качать только страницы адрес которых содержитforum=35, а все остальное игнорировать.

Почему же, есть такое, только если вы форум будете так качать, то многие топики не загрузятся (как я уже сказал, нет прямого выхода на весь список топиков), а кривыми путями - до многих просто не добраться.  

Цитата:
Мне для себя достаточно создать буквально 50-60 ссылок на шапки интересующих меня тем

Для этого на форуме есть замечательная фича - Закладки
http://forum.ru-board.com/forum.cgi?forum=bm
Персональный список тем каждого участника форума.
А над каждым топиком есть ссылка
Добавить в закладки
(например данную тему)
Собрав в своих Закладках все интересующие темы, вы сможете их скачать по этому списку с пом., например, данной программы.

Всего записей: 1316 | Зарегистр. 15-04-2003 | Отправлено: 09:14 15-03-2017 | Исправлено: Foss, 09:22 15-03-2017
Nikollay



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Собрав в своих Закладках все интересующие темы, вы сможете их скачать по этому списку с пом., например, данной программы.

Гениально.
Спасибо за подсказку, как-то даже на ум не пришло.

Всего записей: 973 | Зарегистр. 30-07-2006 | Отправлено: 15:25 15-03-2017
tiger690

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, как Portable Offline Explorer установить на флэшку?
Чтобы он не устанавливался в системе.

Всего записей: 1959 | Зарегистр. 16-04-2015 | Отправлено: 16:16 22-03-2017
Foss

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
tiger690

Цитата:
Подскажите, как Portable Offline Explorer установить на флэшку?  
Чтобы он не устанавливался в системе.  

Очевидно в ходе установки нужно выбрать каталог установки, находящийся на флешке. При этом нужно устанавливать не "Portable Offline Explorer", которого автор программы не выпускает, а Portable Offline Browser.

Всего записей: 1316 | Зарегистр. 15-04-2003 | Отправлено: 16:29 22-03-2017
D1D1D1D

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Возможно ли скачивание фейсбучной страницы, содержащей свернутые вложенные ответы/комментарии — в развернутом виде? Возможно, задействовав встроенный браузер?
 

 
Кстати, спасибо за опцию GZIP сжатия — без нее кириллица со страниц FB имела вид js-кода.

Всего записей: 1368 | Зарегистр. 05-04-2010 | Отправлено: 00:58 29-05-2017
newquaker

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Здравствуйте, есть проблема скачивания с ютуба. здесь есть решение? сабж может качать видео с ютуба или встроить уже скачанное?

Всего записей: 714 | Зарегистр. 26-03-2005 | Отправлено: 00:15 08-06-2017
D1D1D1D

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
newquaker
Качать видео наверно лучше чем-нибудь специальным (например youtube-dl), получив список ссылок по поиску. А встроить — посмотрев в HTML правилах или в кодах веб-страниц, как их разработчики встраивают.
 
 
 
 
Добавлено:
Дано ли скачивание результатов поиска с pinterest.com, куда результаты подгружаются? И планируется ли в будущем настройка скачивания страниц с подгрузкой, которые сейчас часто встречаются?

Всего записей: 1368 | Зарегистр. 05-04-2010 | Отправлено: 18:44 17-06-2017 | Исправлено: D1D1D1D, 19:03 17-06-2017
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
D1D1D1D
 

Цитата:
Дано ли скачивание результатов поиска с pinterest.com, куда результаты подгружаются? И планируется ли в будущем настройка скачивания страниц с подгрузкой, которые сейчас часто встречаются?

 
Да, в режиме сохранения  через браузер с автоматической промоткой страниц Х раз.

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 19:07 17-06-2017
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53

Компьютерный форум Ru.Board » Компьютеры » Программы » MetaProducts Offline Explorer | Offline Browser


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru