Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » HandyCache - локальный кеширующий прокси сервер

Модерирует : gyra, Maz

Widok (27-04-2006 12:30): лимит страниц. продолжаем здесь.  Версия для печати • ПодписатьсяДобавить в закладки
На первую страницук этому сообщениюк последнему сообщению

   

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
HandyCache


Кеширующий HTTP прокси сервер. Главное назначение программы заключается в ускорении загрузки WEB-страниц и сокращении расходов на оплату трафика. Экономия только за счет испрользования кеша может достигать 70 и более процентов. Блокирование рекламы с помощью черного списка делает экономию еще большей.
   Программа ориентирована в основном на обслуживание запросов пользователя компьютера, на котором она установлена. Однако, она также может быть использована для 'раздачи интернета' на компьютеры небольшой домашней сети.
Автор mai62

Окна программы:
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20

Сайт программы:
Сайт программы перехал на новый хостинг. Место под проект предоставленно TurboMent`ом.
Новый адрес http://handycache.e-voice.ru.
Версия сайта по адресу http://handycache.narod.ru скоро перестанет обновлятся.
Последняя версия (при первой установке используйте это):
HandyCache095b3b.zip
Последняя бета (только exe, скопируйте в папку HandyCache):
HandyCache095b3bexe.zip
Версия HCie с исправленным HCCmd.exe
HCie.zip
Поддержать проект можно отправив sms-сообщение. Подробности на сайте программы.
FAQ ( Часто задаваемые вопросы )
  • Преимущество НС перед собственным кешем браузера?
    Главное преимущество НС, это то, что кеш этот общий на все браузеры установленные на вашем компьютере. Т.е. например если вы используете браузер Opera для постоянного серфинга, но известно что некоторые странички неправильно отображаются в Opera. Вы запускаете Internet Explorer и снова закачиваете информацию которую вы только что скачали в Opera. НС эту ситуацию исключает.  
     
  • Какова логика программы? Где посмотреть описание Списков?
    В программе есть несколько Cписков для управления контентом. По порядку:  
    • Переадресация (ранее URL-конвертор) - позволяет убрать из URL лишнее и сделать редирект на получившийся URL. Алгоритм работы подробно описан далее в соответствующем вопросе FAQ-а.
    • Белый список - правило, сработавшее в этом списке, отменяет проверку следующих списков: Черный, Не обновлять и Только из кеша.
    • Черный список - позволяет вам запрещать доступ к URL, которые задаются маской либо регулярными выражениями. Черный список полезен когда вам нужно например избавится от назойливой рекламы на часто посещаемых вами ресурсах.  
    • Только из кеша - Если такого файла нет в кеше, то URL не загружается. В Опере это реализовано уже давно, но только для картинок. Позволяет закачать всю графику с нужного вам форума (а также *.css и *.js), просто отключив этот список из контекстного меню программного значка в трее. После этого можно включить этот режим, и быть уверенным что картинки всегда будут грузится из кеша. А если вдруг один из новичков форума вставит картинку на 1.5 мегабайта в свой ответ, вы не будете громко ругатся матом потому что НС ее не загрузит.  Правда картинки не всегда можно распознать по URL, когда расширение у файла отсутствует, по этому НС не может догадыватся что это картинка и ее загрузит. Будем ждать когда автор реализует обработку MIME типов, как это сделано в Опере.
    • Не обновлять - эта закладка позволяет игнорировать TTL (time to live - время жизни) объекта, т.к. скрипты и таблицы стилей, а тем более картинки обновляются очень редко, то вставив сюда эти расширения, вы сэкономите трафик.  
    • Запись в кеш - этот список заставляет НС кешировать объекты указанные в списке в свой кеш. Обычно это странички, таблицы каскадных стилей и javascripts. В принципе можно вместо трех отдельных правил, написать одно .* т.е. кешировать все!  
    • Преобразование URL - служит для записи URL в кэш c отбрасыванием ненужных частей URL-а (SID-ов, доменов 3 уровня и т.п.), либо для изменения папки, в которую будут записываться файлы сайта. Например, на некоторых форумах каждому входу присваивается свой SID, а список "Преобразование URL" позволяет не качать каждый раз неизменившуюся страницу, а взять ее из кэша. Подробнее читайте далее в соответствующем вопросе FAQ-а.

     
  • Как добавить правило в Список HC?
    Правила в списках принимаются в двух форматах:
    1. Регулярные выражения (RegExp)
    2. Выражения вида +*.ad?/php.*,
        где символ * означает любое количество любых символов, символ ? означает 1 любой символ.
        Правила, оформленные во втором формате, должны начинаться с символа +.
     
  • Что такое Регулярные выражения (RegExp)?
    RegExp - Regular Expression или регулярные выражения - это средство произвести некоторые действия над текстом. Небольшое количество управляющих элементов регулярных выражений дает огромный набор средств, чтобы среди текста выделить/найти нужные части. Действия: копирование найденных кусков текста в переменную, удаление их из текста или замена.
    Подробности спрашиваем у Google .
    Или читаем в Википедии
     
  • Когда объект кэша обновляется?
    Цитата mai62:
    - Проверяются правила из списка Только из кеша. Если попал, то берется из кеша безусловно. Если в кеше нет, не грузится.
    - Затем проверяются правила из списка Не обновлять. Если попал, берется из кеша. Проверяется TTL свежих файлов (если разрешено). TTL файлов игнорируется. Если не просрочен, берется из кеша. Если просрочен или нет в кеше, запрашивается на сервере.

    Иными словами:
    Обновление проверяется, если URL не попал в Чёрный список, Только из кеша, Не обновлять и не является "свежим", либо попал в Белый список.
     
  • Что такое "свежий файл"?  
    Это файл, если он уже есть в кеше, имеющий TTL (время жизни), которое задается здесь же. Задав например 8760 часов, тем самым вы зададите время жизни всех кешируемых объектов равное 365 дням. Чем мне нравится этот режим? (этот вопрос всегда задают). А дело в том что я хочу сам обновлять контент. Т.к. частенько просматриваю контент из кеша. (ну а control+F5 я всегда могу нажать сам).  
     
  • А каков порядок работы Списков? Есть схема?
       
     
    Примечание:  
    • Списки HandyCache выделены желтым фоном. В каждом списке проверяется условие:  
       "Список включен и URL соответствует хотя бы одному из включенных правил?".
    • При проверке условия "Файл в Инете "большой"?" происходит запрос файла из Интернета и сравнение HTTP-заголовка "Content-Length" с предельным размером, заданным в настройках HC для "больших файлов" (опция должна быть включена).

     
  • Как работают исключения?
    Каждое исключение работает только с тем правилом, в строке которого оно находится.
       
     
  • Установил НС, а в мониторе нет записей! В чем проблема?
    Значит не настроен браузер для работы с НС. Для работы через НС необходимо прописать адрес proxy-сервера в настройках браузера: 127.0.0.1:port, где port - цифра в настройках НС на вкладке "Общие".
     
  • Поставил НС, картинки в списке "Не обновлять", но HC постоянно запрашивает их на сервере! Процент "экономии" очень низкий! Почему?
    "Виноват" кэш браузера! "Неправильный" браузер (например, IE) видит файл в своем кэше и запрашивает в Инете, изменился он или нет. НС каждый раз транслирует запрос и получает ответ сервера "Not Modified". Сам файл при этом не скачивается и не попадает в кэш HC. Естественно, каждый раз будет тратиться время и трафик на выполнение такого запроса!  
    Чтобы избежать данной ситуации, нужно почистить кэш браузера и уменьшить его размер до минимума (1 Мб) или отключить совсем.
     
  • Поставил НС, а картинки не грузятся!!! Почему?
    "Виноват" режим "Только из кеша". Пока вы не поняли суть этого режима, можете выключить на нем галочку. Чуток попользовавшись НС, я думаю, вы сами ее включите.  
     
  • Поставил НС, а у меня все картинки грузятся!!! Хотя режим "только из кеша" включен! Почему?
    Вероятно что у вас браузер Opera или Firefox. Обратите внимание на галочки "Отменить для Opera" и "Отменить для Firefox".  
     
  • Что означает галка "Только для GET-запросов" в списках "Запись в кеш" и "Не обновлять"?
    Когда браузер хочет получить файл, чтобы показать его, он шлет GET-запрос. Когда он отсылает на сервер данные (пост на форуме, заполненную форму и т.д.), используется POST-метод. Какой метод используется видно в логе.
    Галка нужна, чтобы не кешировать (и всегда обновлять) данные, полученные POST-методом.  
     
  • А нельзя ли сделать что бы НС хранил кеш в одном файле. А то знаете ли фрагментация...
    Как сказал автор, "Можно было бы сделать. Только другим пользователям такой кеш наоборот нравится. Им хочется иметь возможность поковыряться там". Кому то пригодится совет DimanS:  

    Цитата:
    Качаем http://vdfcrypt.narod.ru создаем виртуальный диск, форматируем, делаем его сжатым и складываем кэш туда, так прикольнее, все это добро хранится в файле образе в сжатом виде.

    Примечание от автора FAQ: Есть бесплатная программа для создания диска. http://www.truecrypt.org/ к тому же она умеет создавать защищенные диски.  
     
  • А можно найти где нибудь описание интерфейса со скринами и описанием режимов?
    Конечно. На страничке автора программы как ни странно  
     
  • Запрошенная страничка не грузится. В мониторе НС - "502 Bad gateway". Почему?
    Вот как mai62 (автор) отвечает на этот вопрос:  

    Цитата:
    Такое получается, когда сервер, к которому я обращаюсь, рвет соединение не дав никакого ответа. Видимо, где-то ограничение на кол-во соединений. А может сервер перегружен.  
    ...  
    HC получает запрос, прогоняет URL через фильтры. Если фильтры не запрещают, пытается установить соединение с родительским сервером. Если не удается, выдает 502 Bad Gateway в мониторе.

    В порядке борьбы с этим злом автор ввел в программу новые опции:

    Цитата:
    [+] Добавлена возможность задания времени на повторные соединения при ошибке соединения;  
    [+] Добавлена возможность задания времени на повторные запросы при разрыве соединения без ответа.
     
    PS.: Если ошибка все равно появляется, автор рекомендует работать через родительский прокси. Т.е. либо поставить еще один локальный прокси, например proxomitron, либо использовать прокси сервер провайдера.  
     
  • Какие-то страные проблемы с Firefox. Непонятно, что открывается...
    Цитата DrHyder:
    Что-то непонятное творится с firefox'ом и последней бетой subj, открываются какие-то левые сайты. Пытаешься зайти на ixbt - открывается гугл... Лечится выставлением network.http.max-persistent-connections-per-proxy в ноль.

     
  • Почему-то последнии версии HandyCache не держит настройку (.)* на вкладке "Не обновлять". После перезапуска программы галочка всегда включена.
    Цитата mai62:
    Фильтр (.)* (или .*) на вкладках Не обновлять и Только из кеша имеют специальное назначение.    Фильтр (.)* на вкладке Не обновлять связан с опцией Не обновлять свежие файлы/Разрешить. Включение/выключение этой опции включает/выключает фильтр (.)* на вкладке Не обновлять. Для чего это нужно? Если ввести исключение для правила (.)*, мы получаем исключение для Свежих файлов. Например, если ввести исключение .*post.* и включить Не обновлять свежие файлы у нас не будут обновляться все свежие файлы кроме файлов, включающих в URL подстроку post.    Аналогичным образом связаны опция Автономная работа/Разрешить и правило (.)* на вкладке Только из кеша.

    Если вы все же хотите, чтобы все, что есть в кэше, не обновлялось (т.е. всегда бралось из кэша), то можно создать правило ^.* ( или ^(.*) )  
     
  • А можно ли НС подсунуть кеш от Cool Proxy? Ну или хотя бы узнать отличия?
    Цитата V0lt:
    я тут поковырял, может кому пригодиться       Некоторые отличия структур кеша HandyCache и CoolProxy v1.4 build 0256:      
    • символ ":" в HC заменяется на "!", в CP - на код "%3a"    
    • HC игнорирут в адресе "www." и пишет в кеш уже без "www.", а CP оставляет (в новой версии 2.1.xxx появилась такая опция)    
    • если сраничка приходит запакованная gzip, то у CP нет в конце файла записи "Content-Encoding:gzip" из-за чего такая страница скопированная в кеш HC может неправильно отобразиться в браузере  
    • у CP можно встретить спец. пометки конце имени нек. файлов в виде "._move_", "._hash_", "._f_" и др.    
       возможно есть что-то еще... но я уже снес CoolProxy

     
  • Как изменить стандартную надпись при попадании в "черный список"?
     
    Цитата gavana:
    Версия 0.92b10h 17.10.05
      [+] На вкладке Списки/Черный список добавлено поле для ввода имени файла, который будет отправляться клиенту при срабатывании правила.    Файл может быть html или картинка. В архиве лежит болванка blocked.html и clear.gif (прозрачный).  

     
  • Как расчитывается экономия трафика?
    ЭКОНОМИЯ = Взятое из кеша/(Взятое из инета+Взятое из кеша)*100%
    Экономия равняется 100%, если все взято из кеша
     
  • А что будет, если списки будут неприлично огромным? Как это скажется на быстродействии?
    До 16-11-2005 об этом никто не хотел даже думать, пока это не сделал пользователь Zeroglif:  

    Цитата:
    Токма из чистого любопытства ради загнал в чёрный список 15 тысяч масок из набора Agnis. Если тебе интересно, то скорость обработки строк на глаз не упала или упала не сильно, а вот старт/финиш конкретно в дауне. Ну, и CPU грузит, эт понятно. Внизу скрин, обрати внимание на номера правил (кстати, у них, гадов, рамблер.ру глушится):

       
     
     
  • Как работает список "Переадресация" (ранее "URL-конвертор")?
     
    URL-конвертор ищет в URL строки указанные в столбце "Правило" и заменяет их на соответствующие строки указанные в столбце "Замена". Если была произведена хоть одна замена, то HC говорит браузеру якобы запршенный URL отсутствует и предложит новый URL. После чего сам браузер запросит измененный URL.

    • Правило - искомая строка в виде RegExp
    • Замена - строка для замены (чтобы втавить URL в котором ведется поиск введите "\0")
    • Заменить все - если искомая строка встречаться в урле несколько раз то будут изменены все совпадения
    • Обязательный - сложная опция, управляет порядком проверки правил. Если хотите чтобы ваше правило всегда срабатывало, поставьте галку.
      Цитата mai62:
      Проверяются только правила с признаком Обязательный. Как только сработало хотя бы одно правило, работают все правила без признака Обязательный до следующего Обязательного или конца списка.


    ВАЖНО ПОМНИТЬ, что если сработает хоть одно правило URL-конвертора, то URL должен обязательно измениться, иначе произойдет зацикливание и вы не получите нужную страницу. По той же причине рекомендуется составлять правила так чтобы измененный URL не мог быть повторно изменен в URL-конверторе.
     
  • Как работает "Преобразование URL" во вкладке "Кэш"?
    Преобразование URL во вкладке "Кэш" работает по тому же принципу, что URL-конвертор, но в отличии от него измененный URL используется только внутри НC исключительно при работе с кэшем.
    Для чего это нужно? Эта опция позволяет сохранять урлы с одинаковым содержимым в одном файле, отбрасывать постоянно изменяющиеся SID-ы форумов или "лишние" домены. Также можно  сделать так, что нужный URL будет храниться в кэше в определенной папке с заданным вами именем.
     
    ВАЖНО ПОМНИТЬ, что если при работе в интернете вы включили "Преобразование URL", то в автономном режиме оно должно быть также включено, иначе НС может не найти в кеше преобразованные урлы.
     
  • Интеграция в IE
    Более подробно узнать о контекстном меню IE можно в статье: "Как добавить свой пункт в контекстное меню IE".
     
  • Интеграция НС в Opera  (Предложено unreal666)
     
    Найти свой файл профиля меню...  
    В секцию [Browser Menu Bar] и/или [Document Popup Menu]  (контекстное меню) добавить такое...  
    Submenu, "HandyCache", HandyCache Menu  
     
    В конец этого фала добавить...  
     
    [HandyCache Menu]  
    Item, "Добавить в Белый список" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToWhiteList %u"  
    Item, "Добавить в Черный список" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToBlackList %u"  
    Item, "Добавить в список Запись в кэш" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToCacheList %u"  
    Item, "Добавить в список Не обновлять" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToNoReqList %u"  
    Item, "Добавить в список Только из кэша" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToOnlyFromCacheList %u"  
    ------------  
    Item, "Загрузить URL в кэш" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "LoadURL %u"  
    Item, "Удалить URL из кэша" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "DeleteURL %u"

     
    И/или в секцию [Link Popup Menu] (в HC будет добавляться адрес ссылки)  
     
    Item, "Добавить в Белый список" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToWhiteList %l"  
    Item, "Добавить в Черный список" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToBlackList %l"  
    Item, "Добавить в список Запись в кэш" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToCacheList %l"  
    Item, "Добавить в список Не обновлять" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToNoReqList %l"  
    Item, "Добавить в список Только из кэша" = Execute program, "C:\Program Files\Opera\HCCmd.exe", "AddToOnlyFromCacheList %l"
     
     
    Остальные команды пускай добавляют сами.  
    ОБРАТИТЕ ВНИМАНИЕ: Если хотите, чтобы название пункта меню было русским, то отредактированное меню нужно сохранять в кодировке UTF-8, иначе получатся кракозябры.
    Для тех, кто не знает переменные (типа %u) для Оперы:
    %s - имя локального файла;
    %t - выделенный текст;
    %c - содержимое буфера обмена;
    %u - url активного документа;
    %l - линк, на котором выполнен щелчок правой кнопки мыши.
     
  • Как объединить HC и WebWarper для экономии трафика за счет GZIP-сжатия?
     
    WebWarper позволяет сократить ваш трафик в 2-5 раз за счет использования GZIP-сжатия для сайтов, которые по каким-то причинам не используют эту технологию. Узнать об этом можно из монитора HC - в колонке "Ответ" у таких сайтов отсутствует слово "gzip".  
    Чтобы грузить такие сайты в сжатом виде через сервер WebWarper, необходимо сделать следующее:
     
    Добавить новое обязательное правило в список "Переадресация" (ранее "URL-конвертор"):
    ^http://(?!.*webwarper\.net/.*)(.*(site\.ru)(?!.*(css|jpeg|jpg|gif|png|ico|bmp)($|\?)).*)$
    Замена:  http://www.webwarper.net/ww/\1
     
    Вместо site\.ru впишите сайты (через | ), которые будут грузиться через WebWarper. В скобках справа указываются расширения файлов, сжатие которых не поддерживается сервером WebWarper - это будет видно из монитора по множеству строк с "Ответом": 302 Moved (WebWarper).
     
    Рекламу WebWarper-а внесите в "Черный список":    
    .*webwarper\.net/ww/~wwservicescriptgz/.*
     
    Чтобы сохранять файлы в "родные" каталоги, добавьте обязательное правило в список "Преобразование URL":
    .*webwarper\.net/ww/(~clientscriptgz/)?(?!~)(www\.)?(.*)
    Замена:  \3
     

    - Черный список для HandyCache - тут или тут (распаковать в папку с HC) на 26.02.05 - 181 правило (7 отключены)  
    Черный список для HandyCache - тут или тут (распаковать в папку с HandyCache) на 26.02.05 - 181 правило (7 отключены)
    - правил - 181  
    - удалены дубли  
    - учтены правила от Вандербоя, он же Sheligan  
    - добавлено правило для mail.ru (экономит свыше 50 кб на страницу )    
    - отключены фильтры (кому нужно - включайте):  
       для рисунков на mail.ru  
       для рисунков Ru.Board    (в исключение внесены скрипты - .js)
       для ВСЕХ рисунков по расширению  
       для рисунков в отдельных папках (типа img, image, images, imagelib, img234, i, pix, pict, ect... )  
    - в исключениях: сайты, содержащие download, downloads, desktop, country
     
    (некоторые фильтры не проверены - могут блокироваться нужные сайты    )
    - Списки фильтров от NapA [смотреть]

  • Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 17:48 26-01-2006 | Исправлено: unreal666, 20:46 25-04-2006
       

    На первую страницук этому сообщениюк последнему сообщению

    Компьютерный форум Ru.Board » Компьютеры » Программы » HandyCache - локальный кеширующий прокси сервер
    Widok (27-04-2006 12:30): лимит страниц. продолжаем здесь.


    Реклама на форуме Ru.Board.

    Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
    Modified by Ru.B0ard
    © Ru.B0ard 2000-2024

    BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

    Рейтинг.ru