Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141

Открыть новую тему     Написать ответ в эту тему

Zmey



Strangled by Lynx		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Я думаю удобнее сделать будет один топик по Squid и все вопросы касательно него постить сюда. :)
У меня вопрос такого характера: как настроить резку трафика squid и как настроить замену баннеров или просто их вырезку.

SQUID - HTTP/HTTPS прокси под *nix

 
В первом посте собираем полезные ссылки, преимущественно на русском по Squid.
 
Официальный сайт: www.squid-cache.org
Squid (кеширующий прокси для http): установка, настройка и использование
Squid Web Proxy Cache: получение, компилляция, настройка (архивная версия)
Squid Proxy Server 3.1 Beginners Guide,  Packtpub, 2011, PDF (см. также и другие источники)
 
About Squid Web Proxy Cache (архивная версия)
Зона особого внимания: Squid (архивная версия)
Как не получать рекламы через Internet  
FAQ по Squid (архивная версия)
Авторизация squid в домене Windows 2003 Server
Статьи по Squid на Opennet.ru  
Как заставить Squid быть только прокси, без кэширования чего-либо?
 
Также смотрите фильтр по squid
 
В отдельных темах обсуждается
Squid и ограничение доступа по времени
Squid: ограничить трафик для отдельного юзера: ширина канала
Squid и вырезание баннеров
Анализаторы логов для Squid
 
// текущий бэкап шапки..
Всего записей: 303 | Зарегистр. 07-12-2001 | Отправлено: 14:56 10-05-2002 | Исправлено: TheBarmaley TMP, 15:33 23-03-2016
petyp

Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ну так что скажите по моим настройкам сквида?
Всего записей: 356 | Зарегистр. 06-05-2007 | Отправлено: 02:15 15-09-2010
Ruza



Gold Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

petyp
Я пока squid.conf читаю, начал уже второй том...

----------
Fools rush in where angels fear to tread.
Всего записей: 5480 | Зарегистр. 10-09-2003 | Отправлено: 15:37 15-09-2010
petyp

Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
понял сейчас тогда уберу все комменты и выложу чищенный...
Всего записей: 356 | Зарегистр. 06-05-2007 | Отправлено: 17:54 15-09-2010
ginger



Рыжик		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
petyp
Команда top, вами обрезана, не хватает 5-ти верхних строк.
Что касается squid.conf, то его действительно необходимо было обрезать, используя команду приведенную выше.
Теперь что касается squid, его необходимо остановить и полностью удалить все в каталоге /usr/d160/squid/cache
Для оптимизации чтения/записи на диск, рекомендуется добавить ключ noatime в fstab, где расположен дисковый кеш squid, в вашем случае это:
/dev/ad2s1d /usr/d160 ufs rw,noatime 2 2
Перед тем как это делать обязательно сделайте резервную копию fstab!
Чтобы изменения вступили в силу, необходимо выполнить mount -o remount /usr/d160
 
Далее модифицируйте ваш squid.conf:
cache_mem 32 MB
maximum_object_size_in_memory 8 KB
memory_replacement_policy heap GDSF
cache_replacement_policy heap GDSF
cache_dir ufs /usr/d160/squid/cache 512 16 256
minimum_object_size 0 KB
maximum_object_size 4096 KB
cache_swap_low 90
cache_swap_high 95
cache_store_log none
buffered_logs on
client_db off
 
После чего запустите squid и сообщите нам о результатах.

----------
Кто людям помогает, тот тратит время зря... Хорошими делами прославиться нельзя...
Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 18:01 15-09-2010
petyp

Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем добрый, свори nxj долго не писал, ждал когда вылетит сквид.
Так вот, все было супер, до определенного момента, и вот что я нашел после очередной остановки сквида и поиска ошибок в кеше.
 
 clientReadRequest: FD 21 Invalid Request
 parseHttpRequest: Unsupported method 'CшЌаTн@й
 clientReadRequest: FD 22 Invalid Request
 parseHttpRequest: Unsupported method '|ъXTґ*Я=Х
clientReadRequest: FD 22 Invalid Request
 parseHttpRequest: Unsupported method 'ф2eѕЫны?™6%M0№пyж•
 clientReadRequest: FD 22 Invalid Request
parseHttpRequest: Unsupported method '®
clientReadRequest: FD 27 Invalid Request
 parseHttpRequest: Unsupported method '”д
 
 
И таких записей пипец сколько много.. и мне кажется что именно из-зп этого еще может не работать сквид, после перезапуска сквида все ок.
 
Что может быть???
Всего записей: 356 | Зарегистр. 06-05-2007 | Отправлено: 18:56 24-09-2010
DemonWather



Junior Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
мне кажется что именно из-зп этого еще может не работать сквид, после перезапуска сквида все ок.

Нет... Вам только кажется)
 
Это сквид жалуется, что на 80 порт прилетает не http траффик (ботнет, криво настроенные программы, от кривых OS-ей)
 
Может в логе ещё что есть? Локализовать время вылета ведь можно... и этот кусок посмотреть
Всего записей: 112 | Зарегистр. 07-02-2006 | Отправлено: 10:11 26-09-2010
petyp

Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
пока squid не вылетает, но все равно кеш заполняется этой фигней  
Всего записей: 356 | Зарегистр. 06-05-2007 | Отправлено: 20:48 01-10-2010
BONDBIG

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
пока squid не вылетает, но все равно кеш заполняется этой фигней  

 
Вот он, ваш вопрос:

Цитата:
Date: Fri, 11 Apr 2003 22:58:41 +0200
 
Hi
 
I got this here in my cache.log.
 
 
Squid 2.3stable4 is restarting upon it. I think it's some kind of an attack.
 
parseHttpRequest: Unsupported method 'XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX%u9090%u6858%ucbd3%u7801%u9090%u6858%ucbd3%u7801%u9090%u6858%ucbd3%u7801%u9090%u9090%u8190%u00c3%u0003%u8b0
0%u531b%u53ff%u0078%u0000%u00=a'
 
Has anybody ever seen such stuff before?
 
thanks,
 
Philipp  

И вот на него ответ:

Цитата:
Date: 04 Apr 2003 12:53:12 +0200
From: Henrik Nordstrom <hno@squid-cache.org>
To: Wei Keong <chooweikeong@pacific.net.sg>
Cc: squid-users@squid-cache.org
Subject: Re: [squid-users] New Code Red?
 
It is not much that can be done for this kind of problems except to
block the offending client stations by firewalling.
 
One thing which may make the "400 Bad Request" worse for Squid is that
these also get logged in detail in cache.log. If you cannot firewall the
user then you might want to change debug_options to
 
  debug_options ALL,1 33,0
 
to temporarily disable most error reporting on client side request
processing.
 
Regards
Henrik  

Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 21:31 01-10-2010
petyp

Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
BONDBIG
спасибо большое!! Сейчас ввел настройку инет вроде пора работает ))) теперь посмотрим как будет себя вести кальмар на след неделе ))))
Всего записей: 356 | Зарегистр. 06-05-2007 | Отправлено: 00:13 02-10-2010
ginger



Рыжик		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
petyp

Цитата:
спасибо большое!! Сейчас ввел настройку инет вроде пора работает ))) теперь посмотрим как будет себя вести кальмар на след неделе ))))

Не поняла вашего восторга, ведь приведенный совет BONDBIG всего лишь включение режима дебага, для записи более детальной информации в журнал...


----------
Кто людям помогает, тот тратит время зря... Хорошими делами прославиться нельзя...
Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 00:31 02-10-2010
BONDBIG

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
всего лишь включение режима дебага

Наоборот, уменьшение уровня логирования. А про проблему написано, что это мусорный трафик, зловредный, его просто нужно отсекать файерволом, а лучше найти виновных и напинать в печень с ноги.
Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 08:38 02-10-2010 | Исправлено: BONDBIG, 08:39 02-10-2010
petyp

Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ginger
Восторг только в том что после этого ни чего не упало (и не пришлось мчаться на работу поднимать сервак с консоли)
 
BONDBIG
да вот если бы сразу нашел нашел его и напинал по печени то не писал бы сюда.... очень хочу найти причину и как его найти..... потому как не знаю уже куда смотреть что бы его вычислить (((( может еще какие логи системные есть что бы там еще посмотреть поподробней что и кто это ?
Всего записей: 356 | Зарегистр. 06-05-2007 | Отправлено: 23:00 03-10-2010
DemonWather



Junior Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Столкнулся с проблемой... по вечерам катастрофически проседает ping. Все сайты начинают открываться с жуткими задержками...
 
Например:

Цитата:
server:/var/spool/squid3# tracert tut.by
traceroute to tut.by (86.57.250.18), 30 hops max, 40 byte packets
 1  pppoe-router24.mgts.by (93.84.80.94)  728.036 ms  728.702 ms  729.210 ms
 2  * * *
 3  * * *
 4  * * *
 5  * * *
 6  focus.tutby.com (86.57.250.18)  759.673 ms  731.570 ms  732.228 ms
 
traceroute to ya.ru (93.158.134.3), 30 hops max, 40 byte packets
 1  * * *
 2  mm-93-80-84-93.dynamic.pppoe.mgts.by (93.84.80.93)  847.327 ms  847.701 ms  848.058 ms
 3  10.240.8.129 (10.240.8.129)  860.727 ms  880.032 ms  880.520 ms
 4  core.10g.net.belpak.by (93.84.122.41)  880.543 ms  881.235 ms  881.346 ms
 5  93.84.125.2 (93.84.125.2)  881.782 ms  882.305 ms  882.625 ms
 6  po31.l3-gw-1.mck.net.belpak.by (193.232.249.78)  882.989 ms  643.242 ms  642.920 ms
 7  MSK-D2-HQ-XX---4-2-0.358.main.synterra.ru (83.229.133.97)  792.478 ms  780.339 ms  761.061 ms
 8  GW-YandexPeering.main.synterra.ru (83.229.129.46)  686.821 ms  686.836 ms  686.796 ms
 9  carmine-red-vlan602.yandex.net (87.250.242.206)  687.135 ms  687.154 ms  687.081 ms
10  l3-s1100-s2190.yandex.net (213.180.213.35)  698.749 ms  710.257 ms  795.633 ms
11  l3-s900-s1100-2.yandex.net (213.180.213.54)  1051.130 ms  974.818 ms  975.272 ms
12  www.yandex.ru (93.158.134.3)  835.018 ms  835.032 ms  835.305 ms
 

 
В сети десятк активных пользователей...
Останавливаю squid3... Проверяю снова...
 
Трасировка шлюза (мой сервер)

Цитата:
server:/var/spool/squid3# tracert -I 178.124.154.XX
traceroute to 178.124.154.XX (178.124.154.22), 30 hops max, 40 byte packets
 1  mm-XX-154-124-178.static.mgts.by (178.124.154.22)  0.040 ms  0.010 ms  0.010 ms

 
Трасировка до DSLAM провайдера:

Цитата:
server:/var/spool/squid3# tracert -I 93.84.80.93
traceroute to 93.84.80.93 (93.84.80.93), 30 hops max, 40 byte packets
 1  * * *
 2  mm-93-80-84-93.dynamic.pppoe.mgts.by (93.84.80.93)  28.854 ms  32.050 ms  33.514 ms

 
Трассировка до ДНС провайдера:

Цитата:
server:/var/spool/squid3# tracert -I 82.209.243.241
traceroute to 82.209.243.241 (82.209.243.241), 30 hops max, 40 byte packets
 1  * * *
 2  mm-93-80-84-93.dynamic.pppoe.mgts.by (93.84.80.93)  31.309 ms  33.552 ms  34.528 ms
 3  10.16.10.74 (10.16.10.74)  37.000 ms  46.571 ms  47.052 ms
 4  mx02.mgts.beltelecom.by (82.209.243.241)  43.370 ms  45.550 ms  48.262 ms

 
Пинг становится нормальным... Запускаю сквид - снова лаги. Причем стабильно такое происходит по вечерам... Периодически помогает разорвать соединение PPPoE и снова подключиться. Интерливинг на DSLAM включен... да и не он это так тормозит работу вроде как... Есть у кого нить идеи?! что происходит со сквидом и куда смотреть, или я не по адресу и это не сквид?
Всего записей: 112 | Зарегистр. 07-02-2006 | Отправлено: 23:18 03-10-2010
BONDBIG

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
petyp

Цитата:
может еще какие логи системные

tcpdump тебе в помощь. Ну или netstat -nta для начала, смотришь, от кого много соединений.
Всего записей: 407 | Зарегистр. 05-05-2006 | Отправлено: 23:32 03-10-2010
vovanj7



Silver Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
DemonWather
Нужно глянуть текущую нагрузку на канал в момент проседания, на фре это можно iftop. Если по вечерам, то мож кто торрент запускает или еще чего-то

----------
Ваши руки ввели идиотскую команду и будут ампутированы.
Всего записей: 3378 | Зарегистр. 07-09-2006 | Отправлено: 23:33 03-10-2010
DemonWather



Junior Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Нужно глянуть текущую нагрузку на канал в момент проседания, на фре это можно iftop. Если по вечерам, то мож кто торрент запускает или еще чего-то

 
Торренты закрыты фаерволом. Спасибо за инструмент - действительно удобный! похоже медийная часть vkontakte основная нагрузка... Закономерен ли при нагрузке на канал рост ping? QoS как такового нету, насколько я понимаю? Есть смысл рассматривать шейпинг нисходящего трафика? У меня уже голова болит)
 
petyp

Цитата:
а лучше найти виновных и напинать в печень с ноги
может еще какие логи системные есть

 
сколько не рыскал по сети, ошибки parseHttpRequest нигде ни приводили к падению squid.
 
На самом деле вам я бы рекомендовал включить наоборот более детальные логи и посмотреть их внимательно debug_options ALL,1 28,9 Только потом верните как было
... а то размеры лог файлов растут катастрофически быстро! Определите момент вылета в логах и внимааательно их изучите...
Всего записей: 112 | Зарегистр. 07-02-2006 | Отправлено: 23:58 03-10-2010
ginger



Рыжик		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DemonWather

Цитата:
Есть смысл рассматривать шейпинг нисходящего трафика?

Вы можете использовать delay_pools в squid, как для конкретного пользователя, так и для ресурса, например vkontakte, либо применить "шейпер" средствами межсетевого экрана.
Для борьбы с torrent, icq и т.д. может помочь следующее:
acl useragents browser (Firefox)|(MSIE.*[)]$)|(Opera)
http_access allow LAN restricted_users useragents
В этом списке доступа перечислены только разрешенные браузеры, согласно правилу, то что не разрешено - запрещено.

----------
Кто людям помогает, тот тратит время зря... Хорошими делами прославиться нельзя...
Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 00:31 04-10-2010
DemonWather



Junior Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Вы можете использовать delay_pools в squid, как для конкретного пользователя, так и для ресурса, например vkontakte

 
Уже "зарядил") Как-то неожиданно узнать, что на контакте столько медийных ресурсов и они так популярны...
 

Цитата:
либо применить "шейпер" средствами межсетевого экрана.

 
Вот мне и нужен шейпер без кавычек.... ИСХОДЯЩЕГО трафика. SQUID работает с входящим вроде как только... Канал 4096/512, видимо в этих 512-ти и проблема. Хочу оставить 5-7% по аналогии  QoS нисходящего потока для высоко-приоритетного трафика...
Понимаю что возможно вопрос не по сквиду, - посоветуйте как рулить нисходящим трафиком (рассмотрю любый варианты, так как народ уже буйствует).  
 
Всего записей: 112 | Зарегистр. 07-02-2006 | Отправлено: 10:15 04-10-2010
vovanj7



Silver Member		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
DemonWather

Цитата:
Как-то неожиданно узнать, что на контакте столько медийных ресурсов и они так популярны...

Я как-то раз в новой огранизации распечатал логи SQUID-а и офигел... 90% траффика - это контакт. как только его закрыл, канал разгрузился моментально Так что это зараза еще та.

Цитата:
Вот мне и нужен шейпер без кавычек.... ИСХОДЯЩЕГО трафика.

если стоит IPFW, то использовать pipe, queue.

----------
Ваши руки ввели идиотскую команду и будут ампутированы.
Всего записей: 3378 | Зарегистр. 07-09-2006 | Отправлено: 11:06 04-10-2010
pav



Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Что-то перестали отображаться сообщения об ошибках, генерируемые сквидом. Я имею в виду те, что лежат в ../squid/errors. Сервер просто ничего не возвращает. Никаких ошибок в логах не вижу. Путь до локализации в конфиге прописан:
Цитата:
error_default_language ru-ru

Может ли это быть из-за того, что временно (сервер на профилактике) изменено его DNS имя переменной visible_hostname?
И ещё попутно, не подскажет ли кто путь до описания всех переменных, что сейчас используются на страницах ошибок SQUID 3.1.7 Каждый раз класть вместо вновь обновлённых через порты страничек свои - как-то думаю не благоразумно. Вроде есть даже возможность вставить в качестве переменной свой html-код. Но как это практически реализовать примеров не нашёл.
Всего записей: 1856 | Зарегистр. 27-01-2002 | Отправлено: 13:58 04-10-2010
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru