Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » MetaProducts Offline Explorer | Offline Browser

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53

Открыть новую тему     Написать ответ в эту тему

unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
MetaProducts Offline Explorer / Portable Offline Browser (Часть 3): Часть 1 Часть 2
--== Сопутствующая тема в разделе Варезник ==--

Offline Explorer™
Portable Offline Browser™
Текущая версия: 8.5.0.4972 ЦП 11.11.2023
Производитель: © 1997-2023 MetaProducts Systems.


Программа предназначена для загрузки, сохранения и экспорта в различные форматы целых сайтов и/или выбранных частей сайта, а также отдельных веб-страниц. При скачивании и сохранении доступно огромное число настроек и опций, позволяющих настроить скачивание под конкретный сайт, независимо от того является ли его контент динамическим или статическим. В качестве форматов экспорта могут выступать точные статические копии сайтов, как в виде вариантов предназначенных для оффлайн использования, так и для онлайн использования; в виде единого файла в формате HTML Help (.CHM); в формате мультифайлового html архива (.MHT); в формате электронной книги в виде исполняемого файла (.EXE); в виде Zip архива.

Portable Offline Browser - скачать - вариант предназначеный для работы с USB/FireWire Flash/HDD!
Offline Explorer Enterprise - скачать - практически не имеет ограничений по сложности проекта.
Offline Explorer Pro - скачать - представляет собой решение среднего уровня.
Offline Explorer - скачать - это решение начального уровня для простых работ.


Скрипты расширяющие возможности программы:
Второе дерево проектов (если вам не хватает одного).
Показать проекты с описаниями (выделенные цветом или со значком) - автор скрипта Rush.
Статьи об Offline Explorer:
FAQ темы
!!! советы, предостережения
!!! Для корректного копирования проектов из этой темы, устанавливаем и пользуемся vbs-модулем от ViSiToR, или же скриптом от Nagual
(после копирования переходим в дерево Offline Explorer и жмём Ctrl+V)
!!! Просьба постить проекты между тегами [more][/more], чтоб не портить читабельность темы.

Родственные темы:
Сравнение оффлайн-браузеров
TextPipe

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 16:24 07-12-2015 | Исправлено: Luber, 15:17 11-11-2023
Frantishek



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
по поводу скачивания сайта целом (сейчас пробую это сделать, в ряде примеров).
такой вопрос. замечаю, есть сайты такие (примерно на треть их, если касаться интернет-магазинов) которые, при загрузке, непрерывно подают, непонятно откуда появляющиеся, все снова и снова, страницы. в очереди второй день, по двум сайтам таким, как зависло 20+ тыс ссылок таких (плюс-минус) так оно и продолжается (пять загрузил, шесть новых добавил). в связи с этим вопрос. что это за явление такое? разве нельзя, разом, построить всю карту сайта (его просканировав) и нормально показать - тут будет 150 тыс страниц, смотрите сами, какие каталоги отрубить, если оно вам не надо. ведь с другими сайтами, где тоже большие объемы, подобного нет. может быть это как то отрубается.. не может же сайт навыдавать уже 200Гб загруженного трафика, и все еще десятки тыс ссылок в очереди. когда очевидно известно, что там не более 3000 описаний товаров, и никаких форумов/блогов и пр нет.

Всего записей: 1221 | Зарегистр. 02-05-2006 | Отправлено: 13:52 13-12-2019 | Исправлено: Frantishek, 13:53 13-12-2019
callidus



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
по поводу скачивания сайта целом (сейчас пробую это сделать, в ряде примеров).
такой вопрос. замечаю, есть сайты такие (примерно на треть их, если касаться интернет-магазинов) которые, при загрузке, непрерывно подают, непонятно откуда появляющиеся, все снова и снова, страницы. в очереди второй день, по двум сайтам таким, как зависло 20+ тыс ссылок таких (плюс-минус) так оно и продолжается (пять загрузил, шесть новых добавил). в связи с этим вопрос. что это за явление такое? разве нельзя, разом, построить всю карту сайта (его просканировав) и нормально показать - тут будет 150 тыс страниц, смотрите сами, какие каталоги отрубить, если оно вам не надо. ведь с другими сайтами, где тоже большие объемы, подобного нет. может быть это как то отрубается.. не может же сайт навыдавать уже 200Гб загруженного трафика, и все еще десятки тыс ссылок в очереди. когда очевидно известно, что там не более 3000 описаний товаров, и никаких форумов/блогов и пр нет.

 
Такое может быть, если при открытии ссылки генерируется новый ИД странички, таким образом одна страница будет скачиваться бесконечно .. Есть множество других вариантов, почему страничка будет отмечена как новая, скорее всего это не ошибка программы.
 
Добавлено:

Цитата:
Вчера перепробовал кучу вариантов настроек, но он качает всё, кроме нужных мне картинок

 
А вы сравнили урл сайта и картинки?! Если они разные, то нужно отдельно добавлять урл в проект, тогда скачается.

Всего записей: 544 | Зарегистр. 04-02-2006 | Отправлено: 16:34 13-12-2019
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
нельзя, разом, построить всю карту сайта (его просканировав) и нормально показать - тут будет 150 тыс страниц

Есть сайты статические и динамические.
Первых исчезающе мало нынче. При этом, самые-самые классические статические сайты (чаще всего WEB 1.0) имеют на главной странице меню, в котором содержаться прямые ссылки на все без исключения страницы. Только у таких сайтов подсчет страниц прост и быстр, как 3 копейки. Но к сожалению, этот подсчет имеет мало смысла для них, поскольку число страниц статических сайтов относительно невелико и их скачивание не представляет проблемы.
В динамических сайтах все страницы - виртуальные, поскольку они существуют только в браузерах юзеров, поскольку генерируются только в момент обращения браузера юзера к серверу. На самом сервере их нет. На нем , только пачка скриптов, движок этих скриптов, база данных (с голым текстом и др. данными) и медийный контент (картинки, архивы, видео, аудио...).
То есть, копия динамического сайта - это совокупность виртуальных страниц генерированных сервером по запросу браузера юзера, полученная путем последовательного перехода по всем имеющимся на сайте ссылкам (внутри сайта). Чтобы получить список этих ссылок нужно парсить все страницы такого сайта. А чтобы это сделать - нужно скачать все страницы сайта. Поэтому
скачать все страницы сайта = "построить всю карту сайта"
и быстро это сделать нельзя по определению.
Хотя есть некие фичи, когда имеется некая "карта сайта" на самом сайте, но она есть далеко не на каждом сайте. а во-вторых, она чаще всего охватывает только те страницы, которые посчитал нужным включить автор сайта. Фактически она эквивалента меню сайта или оглавлению сайта по сути.
 
На некоторых сайтах возможно определение числа целевых страниц косвенными методами. Например, желающие скачать все описания раздач с рутрекера легко обнаружат, что ссылки на темы раздач следуют в строгом последовательном номерном порядке и максимальное число таких страниц будет равно номеру страницы с самой последней раздачей (то есть больше 4 миллионов, но живых раздач конечно много меньше - 2 млн или даже меньше. Это и есть число страниц с описаниями; тогда как посчитать общее число страниц на этом сайте весьма затруднительно; но если бы в качестве нумерации использовался сложный алгоритм, то и число страниц с описаниями посчитать было бы невозможно, не скачивая их все). В общем это длинный разговор и ваши мечты в подавляющем большинстве случаев не будут реализованы от слова никогда и ни в какой программе. Наоборот, наблюдается стойкая тенденция сокращения числа сайтов, которые можно скачать хоть каким-нибудь способом, отличным от ручного постраничного. А если автор заведомо заинтересован, чтобы никто не скачивал его сайт автоматом, то даже вручную это может быть проблематично сделать.
 
Чтобы успешно автоматизировать работу по скачиванию сайта, нужно во-первых определить круг контента (страниц) которые нужны с конкретного сайта, определить закономерности генерации ссылок на них, возможность представления этих ссылок в виде ссылок с переменными и т.д.. затем выбрав инструмент (например данную программу) изучить ее возможности и используя эти знания и информацию  о сайте создать проект, корректно его настроить...
Если же тупо вбивать адрес сайта, использую настройки по умолчанию, то не стоит удивляться что программа качает много лишнего, долго и т.д. Программа - лишь инструмент, как напильник или стамеска. Результаты работы зависят в первую очередь от того, кто их использует.  
 
P.S. И да. задавать вопросы, сообщать о проблемах и т.п. в общем виде - "не работает", "не качает", "валятся ошибки", "качает не то и не так", "у меня проблемы", "памагите"... и тому подобное - занятие бессмысленное, поскольку предполагает гадательно-телепатический ответ. Поэтому, подобные сообщения скорее являются рекламой характеризующей вопрошающего как ленивого человека, априори не уважающего потенциальных помощников вплоть то его полного "ни буб-бум" в теме. Последнее легко угадывается по непониманию вопрошающего элементарной вещи, а именно - время WEB 1.0 прошло и потому все меньше и меньше сайтов (имеющих контент достойный скачивания), использующих один и тот же движок (скрипты). То есть, методы приемлемые для скачивания одного сайта с большой долей вероятности не могут быть тупо перенесены на другой. Скачивание каждого сайта (или его части) все больше становится уникальным. А потому ответы на общие вопросы оказываются все менее пригодны для конкретного случая, когда не известны точные условия скачивания, адрес сайта и т.д. То есть, уже сам общий вопрос, с большой долей вероятности, не имеет смысла, без конкретики.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 09:02 14-12-2019 | Исправлено: Jonmey, 07:10 16-12-2019
videoDVDkhv

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Здравствуйте!  
Сохранил https://support-thepixelfarm.co.uk/documentation/en/pfclean.html в формате CHM
1. При открытие CHM открывается просто ссылка (выше). Как сделать чтобы открытие было без показа первоначальной ссылки.
2. Не работает поиск в CHM
3. Не загрузились видео вида https://support-thepixelfarm.co.uk/documentation/docs/pfclean_cinema.html
 
Спасибо!
 

Всего записей: 24 | Зарегистр. 06-05-2014 | Отправлено: 04:41 25-12-2019
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
videoDVDkhv
2. chm не поддерживает поиск в кодировке UTF(8,16,32). Только ANSI.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 05:22 25-12-2019 | Исправлено: Jonmey, 05:24 25-12-2019
videoDVDkhv

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey
Спасибо!  
Осталось только узнать:
- где в настройках поменять кодировку?  
- пункт 1 https://imgur.com/r5VDKz2
- пункт 3 - не возможно?
 

Всего записей: 24 | Зарегистр. 06-05-2014 | Отправлено: 06:45 25-12-2019
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
- где в настройках поменять кодировку?

Такой возможности нет. Это вообще нетривиальная задача - в пакетном режиме менять кодировку html страниц.
1. Экспортируйте chm без содержания.
3. Видео в <iframe> из другого домена
https://player.vimeo.com/video/261277357
Нужно добавлять в настройки проекта все файлы для этого плеера и самого видеофайла. Может оказаться непростой задачей, решаемой методом проб и ошибок.
В chm это хозяйство даже при успехе скачивания вряд ли будет воспроизводиться.
Да и с сами сайтом, думаю, будут проблемы в chm.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 10:46 25-12-2019
videoDVDkhv

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Jonmey Спасибо! Понял! С праздником!

Всего записей: 24 | Зарегистр. 06-05-2014 | Отправлено: 11:24 25-12-2019
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А почему OE не может скачать свою же собственную онлайн справку?

 
В режиме скачивания через встроенный браузер все работает.
 

Цитата:
хотел лицензию свою обновить, чтобы уже как то морально право иметь вопросы задавать. может дело во всех этих кряках и патчах, покупал уже как то давно, потом пользовать перестал. но по ссылке для ру пользователей (в всплывающем окошке) пусто. баловать перестали нас?

 
Все как и прежде, специальная цена для РФ:
 
https://allsoft.ru/software/vendors/metaproducts-corporation/offline-explorer-pro/

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 15:09 25-12-2019
CyclopX

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В своё время была проблема при скачивании сайтов защищённых паролем.
Во встроенном браузере просто не поднималось попап окно, в котором необходимо было указать пароль.
Эта проблема решена - используется более свежий браузер / появилась возможность использовать сторонний браузер?

Всего записей: 1 | Зарегистр. 25-12-2019 | Отправлено: 19:35 25-12-2019
Valeriu

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В настроиках / Размещение загруженных файлов / Обслуживание /  
кнопку " Очистить " для удаления неиспользуемых сайтов и файлов из каталога загрузки = Нажал, очистил , также стоит галочка Предотвращать переполнение каталогов .
Также очистил базу адресов.
После - Загрузить отсутствующую ссылку и добавить файл в выбранный проект - ссылка загружается но одновременно закрыватся и сама программа без обяснения причины .
В каталоге C:\Users\\AppData\Local\Temp  является  безобидный файл  
lucene-8bd83bde6355232f0744f328dc6da28c-write.lock  с 0 байт.
 
Подскажите как решить проблему !!!

Всего записей: 18 | Зарегистр. 23-11-2005 | Отправлено: 22:41 27-12-2019
Sbas

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Есть ли какая-то настройка, чтобы дата скачиваемых файлов была как на сервере? При скачивании файлы создаются с фактической датой загрузки.

Всего записей: 12 | Зарегистр. 02-01-2010 | Отправлено: 07:48 05-01-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Есть ли какая-то настройка, чтобы дата скачиваемых файлов была как на сервере?

Вас какие файлы интересуют - страницы, медиафайлы...?
Если страницы и сайт динамический, то такое невозможно в принципе, потому что страниц, которые вы скачиваете на сайте просто физически нет. поскольку они создаются лишь в момент вашего обращения к сайту.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 08:06 05-01-2020
Sbas

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
медиафайлы. Если с сайта качать downladmaster'om, то можно поставить галку "Получать дату и время создания файла с сервера" и фото или видео сохраняется с исходной датой. Да и в скачанных папках есть файлы Descr.WD3, в которых содержится информация о дате создания файлов с сервера.

Всего записей: 12 | Зарегистр. 02-01-2010 | Отправлено: 08:15 05-01-2020 | Исправлено: Sbas, 14:39 05-01-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
https://metaproducts.com/download/ofdsetup.exe
 
Для правки дат скачанных файлов

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 17:28 05-01-2020
Sbas

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
То, что надо, все даты поменял. ChernavinOleg, большое спасибо.

Всего записей: 12 | Зарегистр. 02-01-2010 | Отправлено: 02:06 06-01-2020
ChernavinOleg

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Valeriu
 
В настройках проекта (левый нижний угол) отключите индексирование скачиваемых файлов - должно помочь.

Всего записей: 240 | Зарегистр. 13-06-2016 | Отправлено: 08:40 09-01-2020
Aws



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Всем привет, буду благодарен если подскажете
версия 7.7 Enterprise
 
хочу скачать конкретный сайт.  
- указываю урл сайта, без http
- в фильтрах файлов для всех ресурсов - указываю Загружать согласно фильтрам URL
- в Фильтрах URL указываю загружать с домена (галка до 1 урла с других доменов снята, маски - пусто)
 
проблема - смотрю выкачивает фейсбух и посторонние сайты. Я бы понял еще, если бы качал отдельные встроенные в основной домен ресурсы, так он качает внешние страницы целиком.
что я упускаю?
 
п.с. не могу найти как в 7.7 выгрузить проект(( сто лет не пользовался уже этой программой)

Всего записей: 123 | Зарегистр. 01-12-2003 | Отправлено: 21:11 13-01-2020 | Исправлено: Aws, 21:12 13-01-2020
Jonmey

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Aws
Цитата:
Фильтрах URL указываю загружать с домена

Цитата:
проблема - смотрю выкачивает фейсбух и посторонние сайты.
В интерпретации OE, по-видимому, имеется ввиду домен верхнего уровня - .com, .ru, .org и т.д., поскольку сервером в той же интерпретации является доменное имя второго уровня и выше (напр. site.ru, site.org и т.д.)
https://metaproducts.com/help/offline-explorer-enterprise/#!help/offline-explorer-enterprise/downloading-websites/limit-web-content-to-download/set-url-filters/restrict-downloading-within-the-starting-domain
То есть, программа очевидно все делает правильно - как настроили, так и качает.
Цитата:
не могу найти как в 7.7 выгрузить проект
Если имеется ввиду экспорт скачанных файлов проекта, то Файл - Экспорт (Ctrl-E)
 
В этом смысле, ранее говорил, что справка к ОЕ носит достаточно путанный характер и при этом  в ней часто отсутствуют определения (объяснения) терминов, которые в ней используются, что вызывает трудности в понимании у неопытных юзеров. Причем переход на онлайн вариант справки в последних версиях никак не повлиял на ситуацию в лучшую сторону.

Всего записей: 1316 | Зарегистр. 17-01-2011 | Отправлено: 01:38 14-01-2020 | Исправлено: Jonmey, 01:42 14-01-2020
Aws



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Jonmey
 
спасибо,  
справка в тему, как раз именно это я и хочу - скачивать только с первоначального домена.
site.ru
*.site.ru
 
 
2. хочу купить лицензию, на всякий случай уточню)
 

Цитата:
Все как и прежде, специальная цена для РФ: 
https://allsoft.ru/software/vendors/metaproducts-corporation/offline-explorer-pro/

1. по ссылке речь про версию 7,6. Она без проблем обновится на последнюю 7,7?
2. Про редакция поддерживает OLE Automation? То есть запуск задания с параметрами из командной строки?
запустить вот такое задание, к примеру
https://metaproducts.com/help/offline-explorer-enterprise/#!help/offline-explorer-enterprise/command-line-interface/commands-to-perform-tasks-with-projects

Всего записей: 123 | Зарегистр. 01-12-2003 | Отправлено: 14:16 14-01-2020
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53

Компьютерный форум Ru.Board » Компьютеры » Программы » MetaProducts Offline Explorer | Offline Browser


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru