Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » MetaProducts Offline Explorer™ / Portable Offline Browser™

Модерирует : gyra, Maz

Widok (02-08-2010 12:06): Лимит страниц. Продолжаем здесь.  Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96

   

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Offline Explorer (OE) - офлайн-браузер. Программа предназначена для загрузки целых сайтов и веб-страниц на жёсткий диск компьютера.
 

         

Выпускается в четырёх версиях (сравнение):


Shareware. Длительность бесплатного периода - 30 дней.

MetaProducts Offline Explorer (OE) is a Windows 9x/ME/NT/2000/XP/2003 program that allows you to download an unlimited number of your favorite Web and FTP sites for later offline viewing, editing, browsing.
(HTTPS, RTSP, PNM, MMS and MMST downloads are supported in Offline Explorer Pro and Enterprise versions.)
Скрипты расширяющие возможности программы:
Второе дерево проектов (если вам не хватает одного).
Показать проекты с описаниями (выделенные цветом или со значком) - автор скрипта Rush.
Статьи об Offline Explorer:
FAQ темы
!советы, предостережения
!!! Для корректного копирования проектов из этой темы, устанавливаем и пользуемся vbs-модулем от ViSiToR, или же скриптом от Nagual
(после копирования переходим в дерево Offline Explorer и жмём Ctrl+V)
!!! Просьба постить проекты между тегами [more][/more], чтоб не портить читабельность темы.
 
Родственные темы:
Сравнение оффлайн-браузеров
TextPipe
Предыдущая часть темы

Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 18:44 17-01-2007 | Исправлено: Zakkazak, 18:47 12-03-2010
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, тут единственная проблема может быть с IID. Он вычисляется просто. При загрузке webdown.dat берется самое большое значение IID и при создании нового проекта ему назначается следующий номер.
 
Поэтому с двумя webdown.dat файлами возможна ситуация, когда будут проекты с одинаковым IID и тогда карты этих проектов будут путаться.
 
Тут есть два выхода:
 
1. Создать во втором webdown.dat файле проект и вручную ему исправить после выхода из ОЕ IID на, скажем, миллион - 1000000
 
В таком случае, все последующие проекты во втором файле будут иметь большие значение IID и не будут пересекаться с первыми.
 
2. Менять не файлы webdown.dat, а полностью каталоги с файлами проектов, карт, шаблонов. Для этого нужно просто менять значение в реестре:
 
HKEY_CURRENT_USER\Software\MetaProducts\Offline Explorer Pro\Parameters
Значение CurrentDir
 

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 20:19 06-06-2008
unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
korosya

Цитата:
Сделал так  
Правило 1:  
URL: *  
Заменить: &sid=*  
Чем:  
   
Правило 2:  
URL: *  
Заменить: &sid=**&*  
Чем:  &*

По идее, первое правило у тебя должно удалить все после &sid= э. в том числе и &start*
Во 2-ом твоем правиле нет смысла от конечной *, т.к. она как была в конце так и осталась.
Лучше оставь как я написал.

Цитата:
Там start не только равен 0, но и 10, 20...

Так моим 3-м правилом удаляется только start=0, а остальные оставляются.
 
Добавлено:
OlegChernavin
Чего-то странно.
Галка на опции "Игнорировать ошибки на сайтах" снята, но при этом все равно загружает отсутствующие ссылки с сайта www.realcoding.net. При остутствии какого-либо файла на этом сайте, он (сайт) выдает заглавную страницу.
 
Вот, например, заголовки для ссылки www.realcoding.net/article/img/nofoto.gif (такой ссылки нет; заголовки взяты из журнала проксомитрона):

Код:
+++GET 1390+++
GET /article/img/nofoto.gif HTTP/1.1
User-Agent: Mozilla/5.0 (Windows NT 5.1; U; ru; rv:1.8.0) Gecko/20060728 Firefox/1.5.0 Opera 9.27
Host: www.realcoding.net
Accept: text/html, application/xml;q=0.9, application/xhtml+xml, image/png, image/jpeg, image/gif, image/x-xbitmap, */*;q=0.1
Accept-Language: ru-RU,ru;q=0.9,en;q=0.8
Accept-Charset: iso-8859-1, utf-8, utf-16, *;q=0.1
Accept-Encoding: gzip, deflate
Cookie: ShmID=370537c28739aa6b668cd788e060e22f
Cookie2: $Version=1
Cache-Control: no-cache
TE: deflate, gzip, chunked, identity, trailers
Connection: keep-alive
 
+++RESP 1390+++
HTTP/1.1 404 Not Found
Date: Sat, 07 Jun 2008 02:08:51 GMT
Server: Apache/2.0.52 (CentOS)
X-Powered-By: PHP/4.3.9
Expires: Fri, 02 Jan 1970 00:00:00 GMT
Cache-Control: no-cache, must-revalidate
Pragma: no-cache
Status: 200
Last-Modified: Thu, 01 Jan 1970 00:00:00 GMT
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html; charset=windows-1251
+++CLOSE 1390+++
 

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 03:38 07-06-2008
Zakkazak



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin

Цитата:
2. Менять не файлы webdown.dat, а полностью каталоги с файлами проектов, карт, шаблонов. Для этого нужно просто менять значение в реестре:  
 
HKEY_CURRENT_USER\Software\MetaProducts\Offline Explorer Pro\Parameters  
Значение CurrentDir

спасибо, это более подходящее решение - карты двух баз держать подальше друг от друга.

Всего записей: 995 | Зарегистр. 12-01-2005 | Отправлено: 14:32 07-06-2008
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Галка на опции "Игнорировать ошибки на сайтах" снята, но при этом все равно загружает отсутствующие ссылки с сайта www.realcoding.net. При остутствии какого-либо файла на этом сайте, он (сайт) выдает заглавную страницу.  

 
Эти ссылки могут загружаться (скорее всего, это результат обработки скриптов). Но если галка снята, то такие файлы не будут сохраняться и обрабатываться.
 
Если это не так, дайте мне ссылку на страницу, с которой Offline Explorer стал качать этот файл. Попробую воспроизвести.
 
Zakkazak
 
Хорошо. Вроде никаких проблем с этим подходом не должно быть.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 14:35 09-06-2008
Drorli

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
У меня после 400.000 файлов в проекте начались жуткие тормоза.... винт горит грасной лампой как при дефрагментации, скорость никакая и сама прога тормозит ужасно,тормозит это мягко сказано. Она просто по 3-4 минуты откликается на движение мышки, а то и вовсе не откликается. При этом сама система (Win XP) работает нормально и весь другой софт при этом не тормозит.
В чем возможная проблема и как её решить?
"Предотвращать переполнение каталогов" галку поставил.
ОЕ Ent последний из шапки.  

Всего записей: 545 | Зарегистр. 09-12-2007 | Отправлено: 18:08 11-06-2008 | Исправлено: Drorli, 18:10 11-06-2008
joktar

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
 
Закачку с начального адреса несложно сделать. И можно еще установить "Не скачивать с уровней больше 1". Тогда и уже скачанные произведения не будут закачиваться и проверяться на изменения. Докачиваться будут только новые после обновления индекса.
 

вот это и проблема. уже скачанные хотелось бы обновлять ЕСЛИ у них больше размер. Если меньше-не трогать.

Всего записей: 131 | Зарегистр. 24-10-2004 | Отправлено: 14:47 13-06-2008
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Drorli
 
Поставили уже после того, как много файлов закачалось? Еслм да, то тот каталог уже переполнен и Windows с тормозами читает его содержимое при каждом обращении. В таком случае, придется стереть и закачать заново.
 
joktar
 
Еще одна настройка... Их и так уже немало получается.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 15:03 13-06-2008
Drorli

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin, да, галку поставил уже на второй сотне тысяч, когда начались теже проблемы, однако после того как поставил галку, все полетело просто пулей, я ещё удивился чудо галке, но после 400.000 опять началось тоже самое. Вроде галка как помогла и очистила каталог?
Тем более, что галка эта ставится не в настройках проекта, а в настройках самого ОЕ.
Думаете качать занового? Там наверное уже гигов 30... не могу глянуть размер папки, при попытке его вычислить ТС вешается... все-таки уже 530.000 файлов.... не хотелось бы перекачивать.
 
ps: может качать этот сайт частями? сначала с одним фильтром, потом с другим, потом с третьим, проект не будет затираться при таком подходе?
 
вот ТС не повесился, через 15 минут выдал размер - 45.3Гб! но это меньше половины от требуемого.
 
Добавлено:
ещё такой косяк, он качает и http://petya.ru и http://www.petya.ru получается полная жо, мне так и за год не выкачать, если дублировать.

Всего записей: 545 | Зарегистр. 09-12-2007 | Отправлено: 18:14 13-06-2008 | Исправлено: Drorli, 00:00 14-06-2008
valhalla



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
У меня версия Offline.Explorer.Enterprise.v5.0.2780.SR1
Ставлю в настройках
Проект - уровень 3
Сервер - загружать файлы только с начального сервера, загружать до 2 ссылок с других серверов.
Пытаюсь вытащить беклинки на свой сайт. Урл на яндексе:
http://webmaster.yandex.ru/wmconsole/link.xml?host=xxxxxx&path=*
По этому урлу открывается список ссылок, разбитый на страницы (по 10 штук на каждой).
Offline Explorer тащит исключительно с yandex.ru, включая следующие страницы со списком ссылок (т.е. вытаскивает 3 страницы в соответствии с настройками). Однако сами ссылки на другие сайты игнорирует напрочь (в настройках указано 2), хотя ссылки даны прямые (без javascript, без всего). В чем может быть косяк? Не судьба мне?
 
Еще вопрос. Место хранения проектов может быть только одно? Если два проекта стянуты с одного сайта, получается помойка в одном каталоге.

Всего записей: 2917 | Зарегистр. 30-10-2001 | Отправлено: 20:48 14-06-2008
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
OlegChernavin, да, галку поставил уже на второй сотне тысяч, когда начались теже проблемы, однако после того как поставил галку, все полетело просто пулей, я ещё удивился чудо галке, но после 400.000 опять началось тоже самое. Вроде галка как помогла и очистила каталог?  

 
Нет, эта галка не трогает уже скачанные файлы. Просто потом создает дополнительные подкаталоги. А те уже скачанные 200.000 файлов, похоже, и создают тормоза.
 

Цитата:
ещё такой косяк, он качает и http://petya.ru и http://www.petya.ru получается полная жо, мне так и за год не выкачать, если дублировать.

 
А что не так получается?
 

Цитата:
Однако сами ссылки на другие сайты игнорирует напрочь (в настройках указано 2), хотя ссылки даны прямые (без javascript, без всего). В чем может быть косяк? Не судьба мне?  

 
Дайте мне точные свойства проекта. Выберите его, нажмите кнопку Копировать и вставьте в форум.
 

Цитата:
Еще вопрос. Место хранения проектов может быть только одно? Если два проекта стянуты с одного сайта, получается помойка в одном каталоге.  

 
Нет, можно без проблем каждой папке задавать свой каталог загрузки.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 13:36 15-06-2008
valhalla



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin

Цитата:
Дайте мне точные свойства проекта. Выберите его, нажмите кнопку Копировать и вставьте в форум

Подробнее...
Цифровое имя хоста заменил на xxxxxx.

Всего записей: 2917 | Зарегистр. 30-10-2001 | Отправлено: 14:00 15-06-2008 | Исправлено: valhalla, 14:04 15-06-2008
joktar

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору


Цитата:
joktar
 
Еще одна настройка... Их и так уже немало получается.

Зато полезная функция...OE становится все более удобным в использовании

Всего записей: 131 | Зарегистр. 24-10-2004 | Отправлено: 16:43 15-06-2008
Drorli

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
 ещё такой косяк, он качает и http://petya.ru и http://www.petya.ru получается полная жо, мне так и за год не выкачать, если дублировать.
 
 
А что не так получается?  

 
а зачем один и тот же сайт в двух вариантах c www. и без www? мне и просто www.петя.ру хватило бы, петя.ру не нужен.
 
Старый проект удалил, скачал за двя на новом больше, чем в старом за три недели, так как исчезли тормоза. Но ни разу не сохранял проект в файл. Как мне показалось, тормоза возникают или начинаются после того как я запускаю проект "восстановить из файла". Может  такое быть? Тормоза при сохранении большого проекта в файл или это никак не влияет?

Всего записей: 545 | Зарегистр. 09-12-2007 | Отправлено: 17:14 15-06-2008 | Исправлено: Drorli, 17:16 15-06-2008
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
а зачем один и тот же сайт в двух вариантах c www. и без www? мне и просто www.петя.ру хватило бы, петя.ру не нужен.  

 
Нужно просто поставить галку скачивать только с начального сервера и все (Свойства - Фильтры URL - Сервер).
 

Цитата:
Тормоза при сохранении большого проекта в файл или это никак не влияет?  

 
Не должно влиять. Но если используется защита от переполнения каталогов, то какое-то время после начала скачивания возможны тормоза, т.к. ОЕ 5.0 начитывает содержимое таких каталогов в память. После того как считает, все должно быть быстрее.
 
valhalla
 
Разрешите скачивание со всех каталогов в Фильтрах URL. А то получается, что скачивается только с /wmconsole/

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 14:22 16-06-2008
Drorli

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо.
А что будет если нажать "обновить загрузку"? Он начнет качать всё занового или исправит косяки от прошлого раза, как то: пропущенные страницы, ошибки сервера, не загруженные изображения и т.д. А это всё есть, при проверке ручками выкачанного проекта.

Всего записей: 545 | Зарегистр. 09-12-2007 | Отправлено: 15:58 16-06-2008
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Для пропущенных файлов лучше всего Загрузить Отсутствующие Файлы. Обновить Проект - это запросить сервер для каждого файла, не изменился ли он. Обычно, все страницы сервер выдает заново, как будто они только что изменились. А остальные файлы обновляются корректно.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 17:53 16-06-2008
Drorli

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо. А вот ошибка "503 Service Unavailable" по некоторым страницам в статусе загрузки у ОЕ, однако после  копирования адреса в буфер, в браузере он открывается корректно. Как лучше "проштудировать" в уже скачанном проекте эти ошибки, все тот же "Загрузить Отсутствующие Файлы" или есть ещё способ? И с чем вообще связано, что в браузере открывается, а в ОЕ 503?

Всего записей: 545 | Зарегистр. 09-12-2007 | Отправлено: 18:05 16-06-2008
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Даже не знаю. Посмотрите в диашлоге настроек чтобы был выбран для идентификации MS Internet Explorer и были включены cookie.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 18:29 16-06-2008
unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Drorli

Цитата:
а зачем один и тот же сайт в двух вариантах c www. и без www?

Для этого есть преобразование URL. Нужно было воткнуть правило, что-то типа этого

Код:
URL: http://www.*
Заменить: http://www.
Чем: http://
 

или если нужно именно с www, тогда нужно указывать конкретный сайт:

Код:
URL: http://petya.ru/*
Заменить: http://petya.ru/
Чем: http://www.petya.ru/
 

 
OlegChernavin

Цитата:
Эти ссылки могут загружаться (скорее всего, это результат обработки скриптов). Но если галка снята, то такие файлы не будут сохраняться и обрабатываться.  
 
Если это не так, дайте мне ссылку на страницу, с которой Offline Explorer стал качать этот файл. Попробую воспроизвести.

Обработка скриптов отключена (Additional=DisableScripts).
Для загрузки подойдет любая статья с сайта realcoding.net.
Но глюкавые ссылки появляются во  время некорректной обработки URL  
при повторном запуске проекта (или его остановке и последующей загрузке) при использовании преобразования URL (для того случая, который я описывал ранее).

Цитата:
Эти ссылки могут загружаться

А зачем их вообще загружать, если сервер ясно ответил HTTP/1.1 404 Not Found ?
 
P.S.
Посмотри страницу http://www.metaproducts.com/mp/Offline_Explorer_Enterprise-History.htm . Там мелкий глючок
 
 
OlegChernavin
Предложение.
При удалении файлов проекта OE удаляет все файлы (загруженные самим проектом и уже присутствующие до него).
Может сделать какую-нибудь общую карту ссылок с количеством задействованных проектов? Т.е. типа как общие dll'ки в винде. Т.е. чтобы была какая-либо таблица в спецфайле/базе данных со столбцами: файл и кол-во проектов, в которых он используется. Если кол-во проектов равно 1, то удалить файл, если больше 1, то оставить.
Ну, конечно, в таком случае нужно иметь и возможность полного удаления всех файлов проектов, вне зависимости от кол-ва проектов, использующих эти файлы.
 
OlegChernavin
Вопрос. Есть возможность как-нибудь указать, что проект загружен (без его перезапуска)? А то эти крестики на значке проекта задолбали.
 
Добавлено:
Глюк при закачке страницы с сайта мелкомягких.
Пример - http://msdn.microsoft.com/en-us/library/ms791475(printer).aspx .
Изначально:
This parameter is similar to the /maxmem
Стало после OE:
This parameter is similar to the ms791488(printer).aspx">/maxmem
Вот HTTP-код этого участка страницы:
оригинал

Код:
This parameter is similar to the <a id="ctl00_mainContentContainer_ctl01" onclick="javascript:Track('ctl00_mainContentContainer_ctl00|ctl00_mainContentContainer_ctl01',this);" href="http://msdn.microsoft.com/en-us/library/ms791488(printer).aspx"><b>/maxmem</b>

стало

Код:
This parameter is similar to the <a id="ctl00_mainContentContainer_ctl01" onclick="javascript:Track('ctl00_mainContentContainer_ctl00|ctl00_mainContentContainer_ctl01',this);" href="http://msdn.microsoft.com/en-us/library/ms791488(printer).aspx">ms791488(printer).aspx"><b>/maxmem</b></a>

 
Добавлено:
Похоже он пытался сделать ссылку локальной, но глюканул. (стоит трансляция для локального просмотра, но как видно из кода - преобразование для лок. просмотра не произошло).

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 19:44 16-06-2008 | Исправлено: unreal666, 20:42 16-06-2008
Drorli

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А правильно я понимаю, что "карта сайта" это расположение всех файлов на сервере?
Скачал сайт, нажал "загрузка-карта сайта" и понеслась по новой.... не видно ни конца ни края... Если отменить это дело, ничего не испортится?

Всего записей: 545 | Зарегистр. 09-12-2007 | Отправлено: 21:22 16-06-2008
   

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96

Компьютерный форум Ru.Board » Компьютеры » Программы » MetaProducts Offline Explorer™ / Portable Offline Browser™
Widok (02-08-2010 12:06): Лимит страниц. Продолжаем здесь.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru