Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » HandyCache ( Часть III )

Модерирует : gyra, Maz

Nep (18-08-2006 09:31): http://forum.ru-board.com/topic.cgi?forum=5&topic=20528  Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100

   

Widok



Moderator-Следопыт
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
HandyCache


  HC - это кеширующий HTTP прокси сервер. Главное назначение программы заключается в ускорении загрузки WEB-страниц и сокращении расходов на оплату трафика. Экономия только за счет испрользования кеша может достигать 70 и более процентов. Блокирование рекламы с помощью черного списка делает экономию еще большей.
   Программа ориентирована в основном на обслуживание запросов пользователя компьютера, на котором она установлена. Однако, она также может быть использована для 'раздачи интернета' на компьютеры небольшой домашней сети.
   Автор:  mai62  
( ПМ )

Окна программы (скрин-шоты):
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20

Сайт программы:
Сайт программы переехал на новый хостинг. Место под проект предоставленно TurboMent`ом.
Новый адрес http://handycache.e-voice.ru.
Версия сайта по адресу http://handycache.narod.ru скоро перестанет обновлятся.
Народная Wiki-книга о HC:
Здесь вы можете прочесть описание настроек и списков, FAQ, ToDo и многое другое
Если у вас есть, что добавить о HC - просто допишите...
Статья в журнале InZone:  
Бережем трафик, время и деньги. Кэширующий HTTP прокси-сервер HandyCache (578 КБайт)
Последняя версия (при первой установке используйте это):
HandyCache095b3b.zip
Последняя бета (только exe, скопируйте в папку HandyCache):
HandyCache096b1cexe.zip
 
Версия HCie с исправленным HCCmd.exe
HCie.zip
Поддержать проект можно отправив sms-сообщение. Подробности на сайте программы.
Программа hc.Historian (автор rs)
hc.Historian v1.0
update 1.0 to 1.71 (14.07.06)
hcHistorianupdate10to171.zip
       
Обсуждение hc.Historian на Ru-Board теперь ЗДЕСЬ         ( Что такое hcHistorian )



Прежде чем задать свой вопрос о программе, пожалуйста ознакомьтесь с FAQ. Может там уже есть ответ на ваш вопрос



Здесь вы можете посмотреть, какие фичи будут реализованы в следующих версиях, или предложить что-то свое


- Черный список для HandyCache - тут или тут (распаковать в папку с HC) на 26.02.05 - 181 правило (7 отключены) Описание...
- Списки фильтров от NapA [смотреть]

Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 12:30 27-04-2006 | Исправлено: DenZzz, 09:50 15-08-2006
hpoint



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
unreal666

Цитата:
Что занимает ресурсы компа
Ранее проводились эксперименты с забиванием тысяч позиций в ЧС, насколько я помню, производительность заметно не падала. А ЧС всегда в работе. Поэтому, ИМХО, если не вычислять оставшееся свободное место, а обрабатывать исключительную ситуацию "Ошибка переполнения диска" и в этот момент опрокидывать "старые" данные RAM-кэша, то мы не только выиграем в производительности на этой операции, но и на прочих операциях, тем самым только снизим общую нагрузку на машину.
 
 
Добавлено:
unreal666
 
   

Всего записей: 242 | Зарегистр. 18-07-2006 | Отправлено: 18:33 06-08-2006
unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
hpoint

Цитата:
а обрабатывать исключительную ситуацию "Ошибка переполнения диска"

А если у меня на том диске еще другие проги, которым тоже нужно место? Ждать пока будет переполнение? Это перебор.
Лучше с каким-то промежутком по времени контролировать размер кэша с помощью nnCron'а. А если идет отдельный логический диск под кэш, на котором еще стоят другие проги (но их кол-во не увеличиваетс), как это сделано у меня (у меня на отдельном диске находятся кэш HC и Apache с сайтами), то можно просто проверять свободный объем диска.

----------
MSI PRO B650-P WIFI / Ryzen 5 7600X / RAM 32Gib / 4 HDD = 10Tib + 1 NVME 2Tib / Radeon RX 560 2Gib / Win 10 x64 // POB, PVD

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 18:43 06-08-2006
hpoint



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
unreal666

Цитата:
А если у меня на том диске еще другие проги
Мы говорим о RAM-диске, а не о HDD.
 
 
Добавлено:
unreal666
C тунелем можно что нибудь сделать? Может какого либо рантайма не хватает?

Всего записей: 242 | Зарегистр. 18-07-2006 | Отправлено: 18:51 06-08-2006
unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
and3636

Цитата:
Идея тут проста-в ram в фоновом режиме подгружаются все мелкие имиджи из папки запрашиваемого домена.

Тогда надо реализовывать так.
- RAM-кэш пустой (чтение), HDD-кэш чем-то забит (чтение/запись).  
- Идет запрос на какой-то домен
- Идет чтение из HDD-кэша, подсчет размера папки этого домена в этом кэше. Если папка занимает место больше свободного объема RAM-кэша, то очистить RAM-кэш.  
- Подгрузка всего домена в RAM-кэш.  
- При срабатывании списка "Запись в кэш" писать в HDD-кэш с одновременным копированием в RAM-кэш. Но тоже нужна проверка свободного объема.
 
Кстати у многих сайтов многие встроенные объекты (картинки, флэш и т.п.) находятся в другом домене. Как например на этом форуме.

----------
MSI PRO B650-P WIFI / Ryzen 5 7600X / RAM 32Gib / 4 HDD = 10Tib + 1 NVME 2Tib / Radeon RX 560 2Gib / Win 10 x64 // POB, PVD

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 19:01 06-08-2006
and3636

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
unreal666

Цитата:
Подгрузка всего домена в RAM-кэш.

Мне кажется грузит весь домен это перебор.Все тормоза происходят от загрузки графики.У меня в кеше папка i.ru-board.com весит 1,07 МБ. В  папке forum.ru-board.com графики на 400 кб(вся 153 МБ).Наверно нужно просто догружать всю мелкую графику из папки к которой идёт запрос.
 
Кому сколько выделять под кеш каждый решает сам.
У меня спокойно можно занять до 250-300 мб.

Всего записей: 305 | Зарегистр. 12-10-2003 | Отправлено: 19:25 06-08-2006
forever

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
hpoint

Цитата:
Ну кэш браузера IE почти 0-вой (почти ), можно считать, что его и нет

У Оперы есть кэш в RAM'е. Есть или нет это в ослике - понятия не имею.
 

Цитата:
 скорость доступа к относительно медленному кэшу на жестком диске несравненно медленнее, чем RAM-кэшу. Именно поэтому, общая производительность HC должна возрасти.

В кэше браузера и в кэше HC одни и те же файлы. Браузер даже не обратится к НС - он возьмет свое у себя. В том числе и IE. Дык смысл держать в памяти данные которые не будут запрашиваться?
 
and3636

Цитата:
Браузер это делает по своему алгоритму.А алгоритм работы HC даст нам полную уверенность в правильной обработке.

Алгоритм браузера "главнее". Если браузер берет что-то в своем кэше, запроса к НС на это "что-то" не будет вообще.
 

Цитата:
Когда на загружаемой странице больше сотни мелких дублирующих друг друга картинок то начинается конфликт за доступ к диску

Это в каком же браузере сто дублей грузится сто раз вместо одного? Или ты просто про сто разных картинок?
В любом случае, попытки заранее что-то подгрузить ни к чему - ясновидение пока дает серьезные сбои. Держать в RAM'е последние данные - можно, но то же сделает и браузер. Данные окажутся невостребованы.
 

Цитата:
Идея тут проста-в ram в фоновом режиме подгружаются все мелкие имиджи из папки запрашиваемого домена.

Т.е. вдобавок к текущим запросам мы нагрузим HDD еще больше: всеми "мелкими имиджами из папки запрашиваемого домена". У меня, например, в кэше nnm.ru сейчас весит 40М - все грузить или таки есть алгоритм ясновидения, что именно понадобится?

Всего записей: 1397 | Зарегистр. 16-12-2001 | Отправлено: 19:30 06-08-2006
unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
hpoint

Цитата:
C тунелем можно что нибудь сделать? Может какого либо рантайма не хватает?

Сейчас только посмотрел. Оказывается ему нужно дофига библиотек из этого пакета JET. Значит пока от него толку не будет. Надо почитать как переносить эти exe-шники в руководстве. Ссылку на него удаляю.
 
Добавлено:
mai62
 
В твоем списке зажач много чего мелкого, но важного нет.

----------
MSI PRO B650-P WIFI / Ryzen 5 7600X / RAM 32Gib / 4 HDD = 10Tib + 1 NVME 2Tib / Radeon RX 560 2Gib / Win 10 x64 // POB, PVD

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 19:31 06-08-2006
and3636

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
forever

Цитата:
Это в каком же браузере сто дублей грузится сто раз вместо одного? Или ты просто про сто разных картинок?

Тут не браузер виноват.Тут ресурсы поедает сабж.А именно его запросы к диску.Независимо есть там искомое или его там нет.И возможно второе даже больше проблем несёт,т.к число одновременных запросов больше.

Всего записей: 305 | Зарегистр. 12-10-2003 | Отправлено: 19:51 06-08-2006
NothingAnother

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
forever
Цитата:
В кэше браузера и в кэше HC одни и те же файлы. Браузер даже не обратится к НС - он возьмет свое у себя
В общем случае, это не так - в зависимости от команд, содержащихся в заголовках запросов и в самом HTML, браузер может даже только что закэшированные данные при следующем обращении к ним снова потянуть из сети. Но у нас есть HC - подсунет данные из своего кэша (в соответствии с установленными правилами)

----------
Мы тоже не всего читали Шнитке!.. © В. Вишневский

Всего записей: 2322 | Зарегистр. 06-09-2003 | Отправлено: 20:01 06-08-2006
and3636

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
forever

Цитата:
У меня, например, в кэше nnm.ru сейчас весит 40М  

и сколько из этого  графическое оформление?
Грузить весь домен нет смысла.

Цитата:
В любом случае, попытки заранее что-то подгрузить ни к чему - ясновидение пока дает серьезные сбои.

 
Чтобы понять что после загрузки nnm.ru будет запрошена графика с него ясновидение излишняя роскош.

Всего записей: 305 | Зарегистр. 12-10-2003 | Отправлено: 20:01 06-08-2006 | Исправлено: and3636, 20:07 06-08-2006
forever

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
and3636

Цитата:
Тут не браузер виноват.Тут ресурсы поедает сабж.
...
т.к число одновременных запросов больше.

Браузер послал запрос - НС ищет.
 

Цитата:
А именно его запросы к диску.Независимо есть там искомое или его там нет.

Это же не поиск файла по имени во всем кэше. Из URL известен точный путь его метонахождения - все очень быстро. Единственное что приходит на ум для ускорения процесса: индексный файл который и держать в памяти - без обращения к диску известно что там есть, что нет.

Всего записей: 1397 | Зарегистр. 16-12-2001 | Отправлено: 20:06 06-08-2006
and3636

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Единственное что приходит на ум для ускорения процесса:

Ещё вариант- ограничитель скорости обмена между браузером и HC.

Всего записей: 305 | Зарегистр. 12-10-2003 | Отправлено: 20:12 06-08-2006
forever

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NothingAnother

Цитата:
В общем случае, это не так - в зависимости от команд, содержащихся в заголовках запросов и в самом HTML, браузер может даже только что закэшированные данные при следующем обращении к ним снова потянуть из сети.

Может. И правильно сделает, что потянет. На примере того же руборда: страница обновляется (и правильно), все остальное (css, js, графика) - из кэша браузера.
 
and3636

Цитата:
и сколько из этого  графическое оформление?

Как ты наверное догадываешься, >90% из 40М - это и есть графика. Любят на nnm жирные картинки.
 

Цитата:
Грузить весь домен нет смысла.

Совершенно верно. Как предлагаешь определять что же именно грузить, а что нет?
 
Добавлено:
and3636

Цитата:
Чтобы понять что после загрузки nnm.ru будет запрошена графика с него ясновидение излишняя роскош.

Не роскошь, а жестокая необходимость (где б тока ей разжиться?): на nnm на каждой странице куча графики - как предугадать на какую страницу я сейчас отправлюсь?

Всего записей: 1397 | Зарегистр. 16-12-2001 | Отправлено: 20:13 06-08-2006
and3636

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Как ты наверное догадываешься, >90% из 40М - это и есть графика. Любят на nnm жирные картинки.  
 
 
Цитата:Грузить весь домен нет смысла.  
 
Совершенно верно. Как предлагаешь определять что же именно грузить, а что нет?

Уже несколько раз писал-это мелкая графика,а она жирной не бывает.Зато она многочисленна.
 
Добавлено:

Цитата:
как предугадать на какую страницу я сейчас отправлюсь

Это лишнее,там точно будет тоже оформление.
 
И кто говорит что нужно предсказание что будет грузиться?Речь идёт о том что однажды зайдя на нужный сайт, в большинстве случаев следует переход на другую страницу с этим же оформлением.А так как тут у сабжа сейчас узкое место предлагается повторить архитектуру обычного процессора с его уровнями кеширования.

Всего записей: 305 | Зарегистр. 12-10-2003 | Отправлено: 20:18 06-08-2006 | Исправлено: and3636, 20:31 06-08-2006
NothingAnother

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
forever
Цитата:
И правильно сделает, что потянет
Где-то правильно, а где-то нет (в зависимости от прихоти сайтописателей, руборд здесь не ориентир)... В том и прелесть HC, что делает этот процесс управляемым по тобой, а не кем-то установленным правилам

----------
Мы тоже не всего читали Шнитке!.. © В. Вишневский

Всего записей: 2322 | Зарегистр. 06-09-2003 | Отправлено: 20:36 06-08-2006 | Исправлено: NothingAnother, 20:37 06-08-2006
forever

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
and3636

Цитата:
Уже несколько раз писал-это мелкая графика,а она жирной не бывает.Зато она многочисленна.

Ну, картинки по 40-80К я бы не назвал мелкой графикой. Попадаются и по 150-200К (к счастью редко).
 

Цитата:
Это лишнее,там точно будет тоже оформление.

Я не ошибусь предположив, что ты никогда не был на nnm? Оформление, конечно будет на каждой странице, но кроме этого на каждой странице свои тяжелые картинки и именно они создают основной объем.
 

Цитата:
в большинстве случаев следует переход на другую страницу с этим же оформлением.

Как объяснить НС, что на текущей странице оформление, а что картики присущие только этой странице? Да и зачем? То что было оформлением на текущей странице и повторится на следующей возьмется из кэша браузера.
 
Добавлено:
NothingAnother

Цитата:
Где-то правильно, а где-то нет (в зависимости от прихоти сайтописателей, руборд здесь не ориентир)... В том и прелесть HC, что делает этот процесс управляемым по тобой, а не кем-то установленным правилам

Да, бывает, что запрещают кэшировать и статичные страницы. Склонен назвать это скорее исключением, чем правилом.

Всего записей: 1397 | Зарегистр. 16-12-2001 | Отправлено: 20:40 06-08-2006
and3636

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Я не ошибусь предположив, что ты никогда не был на nnm?

Точно.Заблокирован по самые..
Повторюсь насчет устройства ram-диска-всё уже придумали до нас.Архитектура процессора- вот то что нужно построить.

Всего записей: 305 | Зарегистр. 12-10-2003 | Отправлено: 20:54 06-08-2006
unreal666



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Блин. Сейчас создал инстал-пакет для toonel.net. Получился размером 15,5 Мегов.
Дофига. Смысл от exe-шника только в его скорости запуска и работы.

----------
MSI PRO B650-P WIFI / Ryzen 5 7600X / RAM 32Gib / 4 HDD = 10Tib + 1 NVME 2Tib / Radeon RX 560 2Gib / Win 10 x64 // POB, PVD

Всего записей: 6637 | Зарегистр. 14-02-2005 | Отправлено: 21:11 06-08-2006
NothingAnother

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
unreal666 to mai62
Цитата:
В твоем списке зажач много чего мелкого, но важного нет
Полностью согласен - в основном фантики... Не надо глубоко копать по ветке, в непосредственной близости поднимались более-менее концептуальные вопросы - разработка API, пригодного для плагинной архитектуры, реализация SOCKS или PortForwarding, предоставление юзеру возможности свободного управления хеадерами, режим работы native service, и т.д.
Есть предложение - помочь уважаемому автору путём некоторой систематизации ToDo. Мне это видится так: на руборде (посредством скриптов для голосования, создания эхи, или ещё как - возможности надо спросить у модеров. Или TurboMent поможет - хостер mai62) создаётся очередь, в которую заносятся все конкретные пожелания заинтересованных лиц. Некий модер (требование - регулярное и длительное присутствие онлайн), уполномоченный mai62, отсеивает только абсолютно абсурдные из них с обоснованием отказа. Затем mai62 в зависимости от сложности, важности, злободневности, эффективности, а, главное - собственного интереса присваивает этому запросу приоритет по балльной шкале (или отказывает) и он вносится в ToDo. Формируется динамический список, из которого будет видно (по баллам) чего ждать в следующем билде, а что будет оседать на дно, накапливаясь для упоминавшейся mai62 второй (а там и третьей...) версии HC. Если mai62 это нужно в принципе (прошу ответить), предлагаю всем высказываться по усовершенствованию и конкретной реализации предлагаемой схемы

----------
Мы тоже не всего читали Шнитке!.. © В. Вишневский

Всего записей: 2322 | Зарегистр. 06-09-2003 | Отправлено: 21:12 06-08-2006 | Исправлено: NothingAnother, 22:25 06-08-2006
Denis_74

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Еще заметил на http://forum.mozilla-russia.org/ у меня много чего качается заново хотя это не изменилось(Last-Modified вообще очень давно), особенно это касается CSS и смаилов, оформление в меньшей степени.  
Может кто проверить.
 
Добавлено:
Хм... а если снять критерии свежести то все ок, по каком принципу он работает и пример записи можно, стаяло 10мин. обновлял тутже а они грузились.

Всего записей: 23 | Зарегистр. 27-07-2006 | Отправлено: 01:54 07-08-2006
   

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100

Компьютерный форум Ru.Board » Компьютеры » Программы » HandyCache ( Часть III )
Nep (18-08-2006 09:31): http://forum.ru-board.com/topic.cgi?forum=5&topic=20528


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru