Zmey Strangled by Lynx Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Я думаю удобнее сделать будет один топик по Squid и все вопросы касательно него постить сюда. :) У меня вопрос такого характера: как настроить резку трафика squid и как настроить замену баннеров или просто их вырезку. SQUID - HTTP/HTTPS прокси под *nix   В первом посте собираем полезные ссылки, преимущественно на русском по Squid.   Официальный сайт: www.squid-cache.org Squid (кеширующий прокси для http): установка, настройка и использование Squid Web Proxy Cache: получение, компилляция, настройка (архивная версия) Squid Proxy Server 3.1 Beginners Guide,  Packtpub, 2011, PDF (см. также и другие источники)   About Squid Web Proxy Cache (архивная версия) Зона особого внимания: Squid (архивная версия) Как не получать рекламы через Internet   FAQ по Squid (архивная версия) Авторизация squid в домене Windows 2003 Server Статьи по Squid на Opennet.ru   Как заставить Squid быть только прокси, без кэширования чего-либо?   Также смотрите фильтр по squid   В отдельных темах обсуждается Squid и ограничение доступа по времени Squid: ограничить трафик для отдельного юзера: ширина канала Squid и вырезание баннеров Анализаторы логов для Squid   // текущий бэкап шапки.. Всего записей: 303 | Зарегистр. 07-12-2001 | Отправлено: 14:56 10-05-2002 | Исправлено: TheBarmaley TMP, 15:33 23-03-2016

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору tankistua top показывает следующее:   top - 15:31:55 up 10 days, 22 min,  2 users,  load average: 0.08, 0.07, 0.01 Tasks: 115 total,   1 running, 114 sleeping,   0 stopped,   0 zombie Cpu(s):  0.8%us,  0.7%sy,  0.0%ni, 97.5%id,  0.3%wa,  0.2%hi,  0.5%si,  0.0%st Mem:   1025356k total,  1010192k used,    15164k free,   270516k buffers Swap:  2031608k total,       32k used,  2031576k free,   513056k cached   Цитата: Однозначно надо добавить  память и подозреваю поставить нормальные сетевухи.   память попробую еще, пока под руками нет, чтобы добавить, а сетевушки 50/50 одна снята с сервака гигабитная, другая левая (гигабитная смотрит в инет, левая в локаль)   попробовал добавить Цитата: Код: cache_dir null /tmp   не помогло Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 14:30 13-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору ОХО !!! Что то я никогда не заглядывал в cache.log, там куча записей:   2009/04/13 15:48:27| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:48:43| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:48:59| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:49:04| ftpReadControlReply: read error: (104) Connection reset by peer 2009/04/13 15:49:04| ftpReadControlReply: read error: (104) Connection reset by peer 2009/04/13 15:49:15| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:49:22| ftpReadControlReply: read error: (104) Connection reset by peer 2009/04/13 15:49:22| ftpReadControlReply: read error: (104) Connection reset by peer 2009/04/13 15:49:22| ftpReadControlReply: read error: (104) Connection reset by peer 2009/04/13 15:49:29| ipcacheParse: No Address records in response to 'my.radar.imgsmail.ru' 2009/04/13 15:49:31| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:50:40| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:51:07| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:51:29| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:51:47| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:52:03| WARNING! Your cache is running out of filedescriptors 2009/04/13 15:53:30| WARNING! Your cache is running out of filedescriptors   видно что он меня постоянно о чем-то предупреждает, но о чем ? Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 15:10 13-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: Так английским по белому написано - не хватает файловых дескрипторов!!! Отключай кэш!   Добавлено:   Код:     maximum_object_size 0 KB minimum_object_size 0 KB   acl all src 0.0.0.0/0.0.0.0 no_cache deny all   cache_dir null /null     Потом почисти папку с кешем. Для верности рестартани сквида.   когда пробую отключить кэш Цитата: cache_dir null /tmp сквид вообще не запускается, а часто его перезапускать не могу, у всех в институте перестает работать инет, это сразу порождает кучу звонков в мой адрес и выяснение обстоятельств возмущенным голосом , достали уже. Про нехватку дескрипторов вычитал, что это может быть связано с вирусами на клиентских компах, которые порождают много сессий в сквиде, пробовал добавить правило на максимальное кол-во соединений от каждого хоста - acl max_connect maxconn 15, что то не срабатывает (наверное руки все таки кривые ) Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 08:22 14-04-2009

dim0n282 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата: Код: #!/bin/bash mkdir /tmp/flood cat /squid/logs/access.log | awk '{print "login: "$3" " "ip: " $4}' > /tmp/flood/flooders.tmp cat /tmp/flood/flooders.tmp | sort -n -r| uniq -c |sort -n -r >/tmp/flood/floodersSorted.txt rm -f /tmp/flood/flooders.tmp     А как применять этот скрипт? Всего записей: 47 | Зарегистр. 18-01-2008 | Отправлено: 09:54 14-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору BONDBIG   Внес изменения, скрепя сердце перезапустил сквиду, наблюдаю...   Кстати прикольный скрипт, правда пока в сети бардак, айпишники раздаются автоматом без привязки к машине, так что дать по шапке не получится, а можно ли как-то не останавливая сквиду (ну максимум squid -k reconfigure), запрещать доступ в инет, скажем на 10 мин, определенному IP ? (например в Wingate, Usergate'е в реалтайме отрубаешь наглеца). Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 10:53 14-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: MadMas не могу понять почему у тебя не работает отключение кеша. Ты нашел где у тебя прописан кеш текущий ? надо опцию не добавить, а заменить.   З.Ы. и сквид у тебя древний - не мешало бы обновить.   А кеш отключай - нынче от него совсем никакого толку, только проблемы. Я кеш перестал использовать года 3 тому назад   И думаю так же нелишним было бы убиение конфига и создание онного по-новой - там прописать всего нужно пару строк. А то уже полез настраивать   Так как в конфиге cache_dir вообще не было, не нашел каталога с кэшем, указал его явно в конфиге, перезапустил, потом убрал, параметр cache_dir null /null сработал, сквид не поругался, но строки:   2009/04/14 12:14:50| WARNING! Your cache is running out of filedescriptors 2009/04/14 12:15:06| WARNING! Your cache is running out of filedescriptors 2009/04/14 12:15:22| WARNING! Your cache is running out of filedescriptors   в cache.log продолжают появляться.   Может кто поделится нормальным конфигом, в принципе задача у меня  тривиальная: 1 - всю сеть безо всяких разделений на привилегии выпустить в инет 2 - ограничить на каждый IP скачку всяких mp3, avi и иже с ними до 5кб на нос 3 - не давать доступ к запрещенным урлам    Выделенка 1Мбит, в интернет одновременно ломятся до 150 юзверей.     А то начались разговоры "раньше стояла ISA и все работало нормально, а теперь ты поставил какой-то линукс и стало все тормозить и вылетать", обидно.   Добавлено: BONDBIG   Проблема в том, что сеть хотят перестраивать, закупать новое железо и т.д., а также новую систему контроля доступа и учета трафика, то что сейчас это временное явление, а АД есть, и подружил его со сквидом, но руководство хочет все перевести на линукс. Поэтому сейчас пытаюсь настроить VPN+RADIUS+MySQL+Abills+SQUID+Postfix. Но хотя бы месяц надо продержаться на нынешней конструкции. Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 11:22 14-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору BONDBIG   Цитата: Чувствую непросто тебе будет, опыта у тебя нет совсем..   эт точно   Добавлено: Выношу на суд свой конфиг, взял файл конфига по умолчанию удалил все комментарии и добавил только свою сеть с пулом задержки и ограничение по URL, по совету BONDBIG внес cache_dir null /null, очистил кэш, перезапустил сквид с новым конфигом.   visible_hostname ----------- dns_nameservers ----------------- cache_mgr --------------@-------------   #Recommended minimum configuration: acl all src 0.0.0.0/0.0.0.0 acl manager proto cache_object acl localhost src 127.0.0.1/255.255.255.255 acl to_localhost dst 127.0.0.0/8 acl SSL_ports port 443 acl Safe_ports port 80          # http acl Safe_ports port 21          # ftp acl Safe_ports port 443         # https acl Safe_ports port 70          # gopher acl Safe_ports port 210         # wais acl Safe_ports port 1025-65535  # unregistered ports acl Safe_ports port 280         # http-mgmt acl Safe_ports port 488         # gss-http acl Safe_ports port 591         # filemaker acl Safe_ports port 777         # multiling http acl CONNECT method CONNECT     acl bad_url url_regex -i "/etc/squid/bad_url" acl multimedia urlpath_regex -i \.mp3$ \.mpeg$ \.avi$ \.mov$ \.3gp$ \.mp4$ \.swf$ \.SWF$ \.exe$ \.cab$ \.dll$ \.wmv$ \.iso$ \.mkv$ \.jar$ \.zip$ \.bz2$ \.flv$     # Only allow cachemgr access from localhost http_access allow manager localhost http_access deny manager   # Deny requests to unknown ports http_access deny !Safe_ports   # Deny CONNECT to other than SSL ports http_access deny CONNECT !SSL_ports   acl tuit src 172.20.1.1-172.20.20.254/16 http_access allow tuit !bad_url   # And finally deny all other access to this proxy http_access allow localhost http_access deny all   #Allow ICP queries from everyone icp_access allow all   http_port 8080   access_log /var/log/squid/access.log squid     #We recommend you to use the following two lines. acl QUERY urlpath_regex cgi-bin \? cache deny QUERY   #Suggested default: refresh_pattern ^ftp:           1440    20%     10080 refresh_pattern ^gopher:        1440    0%      1440 refresh_pattern .               0       20%     4320   acl apache rep_header Server ^Apache broken_vary_encoding allow apache   delay_pools 1   delay_class 1 2   delay_access 1 allow multimedia delay_access 1 deny all   delay_parameters 1 -1/-1 5000/6000   coredump_dir /var/spool/squid   no_cache deny all cache_dir null /null   НО, записи 2009/04/14 15:29:25| WARNING! Your cache is running out of filedescriptors продолжают появляться, почему кэш продолжает работать ? Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 13:06 14-04-2009

Ruza Gold Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: НО, записи 2009/04/14 15:29:25| WARNING! Your cache is running out of filedescriptors продолжают появляться, почему кэш продолжает работать ? Покажи cache.log момент запуска squid также ulimit -a ---------- Fools rush in where angels fear to tread. Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 14:58 14-04-2009

MadMas Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: Попробуй опцию в конфиге   Код: max_filedesc 8192   ну и еще в консоли набери     Код: echo "65535" > /proc/sys/fs/file-max   после чего     Код: squid -k reconfigure     сделал   Цитата: Покажи cache.log момент запуска squid     2009/04/14 16:06:53| Reconfiguring Squid Cache (version 2.6.STABLE22)... 2009/04/14 16:06:53| FD 11 Closing HTTP connection 2009/04/14 16:06:53| FD 13 Closing ICP connection 2009/04/14 16:06:53| aclParseIpData: WARNING: Netmask masks away part of the specified IP in '172.20.1.1-172.20.20.254/16' 2009/04/14 16:06:53| Initialising SSL. 2009/04/14 16:06:53| User-Agent logging is disabled. 2009/04/14 16:06:53| Referer logging is disabled. 2009/04/14 16:06:53| DNS Socket created at 0.0.0.0, port 51081, FD 10 2009/04/14 16:06:53| Adding nameserver --.--.---.- from squid.conf 2009/04/14 16:06:53| Adding nameserver --.--.---.- from squid.conf 2009/04/14 16:06:53| Accepting proxy HTTP connections at 0.0.0.0, port 8080, FD 11. 2009/04/14 16:06:53| Accepting ICP messages at 0.0.0.0, port 3130, FD 13. 2009/04/14 16:06:53| WCCP Disabled. 2009/04/14 16:06:53| Loaded Icons. 2009/04/14 16:06:53| Ready to serve requests. 2009/04/14 16:06:57| httpReadReply: Excess data from "GET http://count.statun.com/?none.gif&r=http%3A//www.warezebra.com/funny/85828-seks-v-centre-goroda-7-fo to.html&p=http%3A//www.warezebra.com/18plus/&i=0.8030876561287805&s=102769&g=0&w=1280&h=1024&d=32&c=Y&e=Y" 2009/04/14 16:07:34| WARNING! Your cache is running out of filedescriptors   сразу же после внесения изменений   Цитата: также ulimit -a   [root@proxy squid]# ulimit -a core file size            (blocks, -c) 0 data seg size           (kbytes, -d) unlimited scheduling priority               (-e) 0 file size                    (blocks, -f) unlimited pending signals                    (-i) 16233 max locked memory (kbytes, -l) 32 max memory size   (kbytes, -m) unlimited open files                           (-n) 1024 pipe size            (512 bytes, -p) 8 POSIX message queues     (bytes, -q) 819200 real-time priority                 (-r) 0 stack size               (kbytes, -s) 10240 cpu time                (seconds, -t) unlimited max user processes            (-u) 16233 virtual memory       (kbytes, -v) unlimited file locks                            (-x) unlimited     Всего записей: 94 | Зарегистр. 02-06-2006 | Отправлено: 15:07 14-04-2009

Ruza Gold Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору BONDBIG Цитата: max_filedesc 8192   Откуда опция? Цитата: [root@gw squid]# squid -k parse 2009/04/14 14:20:30| Processing Configuration File: /etc/squid/squid.conf (depth 0) 2009/04/14 14:20:30| cache_cf.cc(358) parseOneConfigFile: squid.conf:248 unrecognized: 'max_filedesc' Разве что отсюда ./configure --enable-max_filedesc=4096   есть походу   max_open_fds но она по умолчанию 0 Цитата: Option Name:    max_open_disk_fds Replaces:     Requires:     Default Value:    max_open_disk_fds 0 Suggested Config:            To avoid having disk as the I/O bottleneck Squid can optionally     bypass the on-disk cache if more than this amount of disk file     descriptors are open.       A value of 0 indicates no limit. ---------- Fools rush in where angels fear to tread. Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 15:24 14-04-2009

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование