Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Offline Explorer

Модерирует : gyra, Maz

Widok (17-01-2007 18:44): лимит страниц. продолжаем здесь  Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103

   

RAM



Главный информатор
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Offline Explorer - офлайн-браузер. Программа предназначена для загрузки целых сайтов и веб-страниц на жёсткий диск компьютера.
 

 
       

 
Выпускается в трёх версиях:

Offline Explorer™ - 400 рублей
Offline Explorer Pro™ - 800 рублей
Offline Explorer Enterprise™ -  $400.00

Shareware. Длительность бесплатного периода - 30 дней.

 
MetaProducts Offline Explorer (OE) is a Windows 9x/ME/NT/2000/XP/2003 program that allows you to download an unlimited number of your favorite Web and FTP sites for later offline viewing, editing, browsing.
(HTTPS, RTSP, PNM, MMS and MMST downloads are supported in Offline Explorer Pro and Enterprise versions.)  
 
Download Offline Explorer™ 4.3.2441 SR1 Trial
Download Offline Explorer Pro™ 4.3.2442 SR1 Trial
Download Offline Explorer Enterprise™ 4.3.2442 SR1 Trial


Статьи об Offline Explorer:
http://www.ohct.com/content/122/
http://www.zipsites.ru/mine/article/oe/
http://hostinfo.ru/tree/internet/programs/offline/explorer/


Настройки для закачивания всего топика в Offline Explorer Pro/Enterprise:
Адрес - http://forum.ru-board.com/topic.cgi?forum=5&bm=1&topic=1455&start={:0..1800|20}
Уровень: 0
 
Все остальное - по умолчанию.

Всего записей: 831 | Зарегистр. 03-09-2001 | Отправлено: 20:50 17-01-2002 | Исправлено: OlegChernavin, 17:51 14-09-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
И еще.  Надо что обработчик скриптов OE не преобразовывал такие скрипты  
 
 
как это сделать?

 
Если эти ссылки не разрешены для скачивания, то можно просто поставить онлайн трансляцию ссылок.
 

Цитата:
Скажите, а как сделать так, что при скачке файлов со страницы они копировались на хард в указанную папку _БЕЗ_ серверного пути.  
К примеру есть ссылка http://data.site.ru/875/showb.cgi/120406875.pdf  
у меня сейчас на хард копируется файл в C:\mydownload\data.site.ru\875\showb.cgi\120406875.pdf  
А нужно, чтобы было так: C:\mydownload\120406875.pdf  
 
Что нудно сделать?

 
Это можно сделать с помощью URL Substitutes. Сможете сами разобраться?
 

Цитата:
Отличная программа! Подскажите, чем можно распаковать архивы MHT?

 
А зачем это нужно?
 
Добавлено:
В последней версии была ошибка, из-за которой программа могла падать. Вот исправленный файл oe.exe:
 
http://www.metaproducts.com/download/betas/oep2377.zip

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 13:34 17-04-2006
asder

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
подскажите как можно запретить скачивание таких ссылок
http://www.desktopwallpapers.ru/friends.php?cat=3d&pic=312
пробовал через исключение имён не получилось. стала скачивать эти же ссылки только добавлять PRIMARY - friends.php@cat=women&pic=764.primary

Всего записей: 8 | Зарегистр. 11-04-2006 | Отправлено: 12:53 18-04-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Может просто исключить скачивание по именам - добавить в список исключений:
 
friends.php
 
?

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 13:43 18-04-2006
asder

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
это почему то неипомогло. Но я просто отключил скачивание php.
 
Добавлено:
и последние 2 вопроса:
Вопрос 1
[&f=http_3А] зачем она вообще создают такой каталог. Ерунда какая то.
в этом каталоге находится папка [www.desktopwallpapers.ru] в ней соответственно папки  
animals, models, women и т.д. в каждой из которых есть только папка pics в которую OE качает картинки, каждую размером в 16 килобайт! Тоесть создаёт копии уже скаченных.
чтобы было понятно вот пример:
С:\download\www.desktopwallpapers.ru\&f=http_3A\www.desktopwallpapers.ru\auto\pics\
 
Вопрос 2
c:\download\www.desktopwallpapers.ru\3d\pics\3d\pics\ картинки тоже по 16 килобайт
c:\download\www.desktopwallpapers.ru\auto\view\auto\download\
 
Может причина всего этого в том что уровень стоит 999?

Всего записей: 8 | Зарегистр. 11-04-2006 | Отправлено: 19:05 20-04-2006
unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
asder
 
Причина в неправильной обработке скрипта.
Пример для ссылки http://www.desktopwallpapers.ru/women/view/?pic=866:
- оригинальный кусок

Код:
 sowind=window.open('http://www.smsonline.ru/s/s.cgi?id=369'+  
 '&f=http://www.desktopwallpapers.ru/women/pics/cinthia_moura.jpg'+pl, 'smsonline'+parseInt(Math.random()*10000),  
 'width=780,height=560,status=1,resize=0');  
 sowind.focus();

- вот так преобразовывает OE (если трансляция ссылок 'он-лайн')

Код:
 sowind=window.open('http://www.smsonline.ru/s/s.cgi?id=369'+  
 '&f=../pics/cinthia_moura.jpg'+pl, 'smsonline'+parseInt(Math.random()*10000),  
 'width=780,height=560,status=1,resize=0');  
 sowind.focus();

Хотя при сборке скрипта оригинальнаяя ссылка получается такой http://www.smsonline.ru/s/s.cgi?id=369&f=http://www.desktopwallpapers.ru/women/pics/cinthia_moura.jpg + какие-то там переменные.
Т.е. OE перед преобразованием ссылки в скриптах не смотрит, что находится до этой ссылки.

----------
ASUS M4A77TD / Phenom II X6 1055T / RAM 12Gib / 6 HDD = 6Tib / Radeon RX 560 2Gib / Win 7 x64 // POB, PVD
* Не называть меня на Вы, только на ты.

Всего записей: 6611 | Зарегистр. 14-02-2005 | Отправлено: 21:21 20-04-2006 | Исправлено: unreal666, 21:23 20-04-2006
asder

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
так это из за того что стоит онлайн трансляция?

Всего записей: 8 | Зарегистр. 11-04-2006 | Отправлено: 11:07 21-04-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Онлайн трансляция влияет только на то, куда идут ссылки, не разрешенные для загрузки свойствами проекта.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 13:42 21-04-2006
chupakabra



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите что можно сделать:
Начал закачку сайта с помощью OE. Поначалу вроде все нормально было. Но чем дальше, тем выше поднималась загрузка CPU, и что самое плохое - тем тяжелее реагировал пользовательский интерфейс. В общем сейчас ситуация такая: загрузилось примерно 20000 документов, в очереди - 100000, интерфейс не реагирует на команды вообще (такое впечатление что программа зависла).
Если это исправить никак нельзя то посоветуйте рабочий аналог.
Да, версия Pro последняя триальная с офсайта, никаких кряков / ключей не применял.

Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 15:43 24-04-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Просто слишком быстрое скачивание и программа не успевает обрабатывать скачанные файлы. Поставьте 2-х секундную задержку между загрузками в Настройках. Это должно помочь.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 19:55 24-04-2006
chupakabra



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin, спасибо за совет, попробую.

Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 21:26 24-04-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Помогло? Эта проблема не частая, но бывает. Я до сих пор думаю, как бы ее автоматически обходить. Может стоит задержку выставлять при накапливании файлов в очереди обработки - видно в строке статуса внизу - сообщение - Parsing (XX).

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 12:06 25-04-2006
chupakabra



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
Да, помогло, спасибо. Теперь просто другое впечатление от работы программы. Поставил задержку в 1 и GUI больше не тормозит, более того - скорость закачки существенно увеличилась. Т.е. с нулем я замечал максимум где-то 70 Кб/с, а с единицей до 500 Кб/с доходит. В результате закачал ~40000 файлов за пару часов, тогда как ранее качал ~20000 целые сутки. Правда надо сказать что я увеличил число потоков с 15 до 40.
В качестве быстрого решения думаю стоит запретить пользователю устанавливать нулевую задержку. Может также стоит иметь возможность задавать ее миллисекундах, т.к. подозреваю что к примеру 0.5 секунды будет работать еще быстрее чем 1 сек.

Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 14:58 25-04-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, наверное. Надо будет попробовать. Хотябы ввести возможность задавать 0.1 или 0.5 сек.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 18:01 25-04-2006
chupakabra



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
Привет, возникло несколько комментариев к программе:
1. В процессе закачки заметил что в списке соединений иногда появляются что-то типа: 403 Forbidden. Как я понял, файлы, для которых сервер вернул код ошибки, не были закачаны, причем судя по всему OE сдается сразу, даже не пытаясь выполнить указанное в настройках число попыток. Это плохо, т.к. в проекте на 100000 файлов вручную нереально выявить какие файлы были закачаны, а какие нет - хотелось бы чтобы программа хотя бы сообщала где-то что именно она не смогла закачать и по какой причине. Пробовал для этого включать лог, но он тут же заполняется огромным количеством информации, заметить там что-то нереально.
Вообще, хорошая качалка не должна сдаваться независимо от того какой ответ вернул сервер. К примеру, я не раз встречал сервера, которые возвращают код 404 чтобы ограничить число одновременных подключений, тогда как файл реально существует. Думаю лучший алгоритм в этом случае - выполнить указанное в настройках количество попыток, причем при каждой неудачной попытке перемещать файл в конец очереди (т.к. может конечно быть и так что сервер не врет и файла действительно нет ), ну а после того как число попыток исчерпано занести файл и причину отказа в лог, так чтобы пользователь мог наглядно увидеть что и по какой причине не было скачано.
2. Заметил такую хитрую вещь: есть несколько ссылок разного вида, все он устанавливают куку и затем возвращают код 302 Moved temporarily, при этом URL файла - один и тот же. Т.е. сервер запоминает в сессионных данных какой именно контент возвращать по этому URL. Таким образом получается что OE закачивает первую ссылку, а остальные нет, т.к. он думает что они уже закачаны раз есть файл с таким именем. Если возможно, было бы неплохо научить программу этой хитрости.
3. Заметил что иногда довольно сложно остановить проект. Т.е. сколько не давлю на кнопку Stop - счетчик файлов продолжает что-то отсчитывать. Закрываю окно - процесс остается висеть в памяти. Единственный выход - убить процесс из Task Manager.

Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 07:05 26-04-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
403 Forbidden

 
В абсолютном большинстве случаев это означает, что этот адрес не получится получить, даже после 100 попыток. Поэтому ОЕ больше не пытается их загружать.
 

Цитата:
Пробовал для этого включать лог, но он тут же заполняется огромным количеством информации, заметить там что-то нереально.  

 
Можно отключить прогресс и детали в логе и получится довольно компактно.
 

Цитата:
Думаю лучший алгоритм в этом случае - выполнить указанное в настройках количество попыток, причем при каждой неудачной попытке перемещать файл в конец очереди (т.к. может конечно быть и так что сервер не врет и файла действительно нет  ), ну а после того как число попыток исчерпано занести файл и причину отказа в лог, так чтобы пользователь мог наглядно увидеть что и по какой причине не было скачано

 
Проблема только с тем, что если кол-во попыток неограничено, то закачка никогда не остановится. Да и вообще таких сайтов чрезвычайно мало. А на всех остальных такое поведение будет выглядеть ошибочным и будет много нареканий от пользователей.
 

Цитата:
2. Заметил такую хитрую вещь: есть несколько ссылок разного вида, все он устанавливают куку и затем возвращают код 302 Moved temporarily, при этом URL файла - один и тот же. Т.е. сервер запоминает в сессионных данных какой именно контент возвращать по этому URL. Таким образом получается что OE закачивает первую ссылку, а остальные нет, т.к. он думает что они уже закачаны раз есть файл с таким именем. Если возможно, было бы неплохо научить программу этой хитрости.  

 
А можно пример такой ссылки?
 

Цитата:
3. Заметил что иногда довольно сложно остановить проект. Т.е. сколько не давлю на кнопку Stop - счетчик файлов продолжает что-то отсчитывать. Закрываю окно - процесс остается висеть в памяти. Единственный выход - убить процесс из Task Manager.  

 
Это означает что очередь обработки файлов еще не пуста и он дообрабатывает последний файл. Возможно, что это из-за ошибки, которую уже я исправил.
 
 

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 11:59 26-04-2006
chupakabra



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Можно отключить прогресс и детали в логе и получится довольно компактно.  

Отключал, но все равно много лишней информациию. Вот если бы можно было оставить только ошибки...
 

Цитата:
Проблема только с тем, что если кол-во попыток неограничено, то закачка никогда не остановится. Да и вообще таких сайтов чрезвычайно мало. А на всех остальных такое поведение будет выглядеть ошибочным и будет много нареканий от пользователей.  

 
Ну можно это опцией задавать "Что делать при ошибках сервера":
- Сразу прекратить попытки (по умолчанию).
- Перенести файл в конец очереди и продолжать попытки.
 
Просто сейчас существует такая проблема, что нельзя даже сказать точно скачался проект целиком или нет.
 

Цитата:
А можно пример такой ссылки?  

Ссылка
Обратите внимание на то как реализованы ссылки на страницы 2 и 3

Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 16:02 26-04-2006 | Исправлено: chupakabra, 16:05 26-04-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Отключал, но все равно много лишней информациию. Вот если бы можно было оставить только ошибки...  

 
Чтож, надо будет сделать в одной из следующих версий.
 

Цитата:
Ну можно это опцией задавать "Что делать при ошибках сервера":  
- Сразу прекратить попытки (по умолчанию).  
- Перенести файл в конец очереди и продолжать попытки.  
 
Просто сейчас существует такая проблема, что нельзя даже сказать точно скачался проект целиком или нет.  

 
Пока можно запустить загрузку снова по Ctrl+F5, нажать паузу - F9 и во вкладке Очередь будут накапливаться ссылки, которые не скачались - по мере обработки уже скачанных файлов на диске.
 

Цитата:
Ссылка  
Обратите внимание на то как реализованы ссылки на страницы 2 и 3

 
Да вроде обычные ссылки, каждая с разным URL.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 14:01 27-04-2006
chupakabra



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin

Цитата:
Да вроде обычные ссылки, каждая с разным URL.

В том то и дело, что URL - разные, а имена файлов в результате получаются одинаковые (из-за редиректа). Соответсвенно OE закачивает только первую страницу, а страницы 2 и 3 не закачивает, т.к. считает что такой файл уже есть на диске.
Кстати, у этих ссылок есть еще одна особенность - их нельзя качать одновременно, т.к. сервер запоминает данные о загружаемом контенте в одной и той же сессионной переменной.

Всего записей: 495 | Зарегистр. 18-10-2001 | Отправлено: 17:14 27-04-2006
Funt123



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
OlegChernavin
 
намек понят, разобрался. Спасибо.

Всего записей: 161 | Зарегистр. 09-11-2005 | Отправлено: 22:41 27-04-2006
OlegChernavin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
В том то и дело, что URL - разные, а имена файлов в результате получаются одинаковые (из-за редиректа). Соответсвенно OE закачивает только первую страницу, а страницы 2 и 3 не закачивает, т.к. считает что такой файл уже есть на диске.  
Кстати, у этих ссылок есть еще одна особенность - их нельзя качать одновременно, т.к. сервер запоминает данные о загружаемом контенте в одной и той же сессионной переменной.  

 
Да уж, тогда увы! Я думал об этом, пока решения у меня нет. Может несколько позже найдется.

Всего записей: 2305 | Зарегистр. 02-10-2003 | Отправлено: 12:42 28-04-2006
   

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103

Компьютерный форум Ru.Board » Компьютеры » Программы » Offline Explorer
Widok (17-01-2007 18:44): лимит страниц. продолжаем здесь


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru