SQUID (только под *nix) - [16] :: В помощь системному администратору :: Компьютерный форум Ru.Board

Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?

Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR
Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140

Открыть новую тему

Написать ответ в эту тему

Zmey

Strangled by Lynx

Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Я думаю удобнее сделать будет один топик по Squid и все вопросы касательно него постить сюда. :)
У меня вопрос такого характера: как настроить резку трафика squid и как настроить замену баннеров или просто их вырезку.

SQUID - HTTP/HTTPS прокси под *nix

В первом посте собираем полезные ссылки, преимущественно на русском по Squid.

Официальный сайт: www.squid-cache.org
Squid (кеширующий прокси для http): установка, настройка и использование
Squid Web Proxy Cache: получение, компилляция, настройка (архивная версия)
Squid Proxy Server 3.1 Beginners Guide, Packtpub, 2011, PDF (см. также и другие источники)

About Squid Web Proxy Cache (архивная версия)
Зона особого внимания: Squid (архивная версия)
Как не получать рекламы через Internet
FAQ по Squid (архивная версия)
Авторизация squid в домене Windows 2003 Server
Статьи по Squid на Opennet.ru
Как заставить Squid быть только прокси, без кэширования чего-либо?

Также смотрите фильтр по squid

В отдельных темах обсуждается

Squid и ограничение доступа по времени
Squid: ограничить трафик для отдельного юзера: ширина канала
Squid и вырезание баннеров
Анализаторы логов для Squid

// текущий бэкап шапки..

Всего записей: 303 | Зарегистр. 07-12-2001 | Отправлено: 14:56 10-05-2002 | Исправлено: TheBarmaley TMP, 15:33 23-03-2016

val0000

Newbie

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

wchik

Цитата:

где выделено?
конфиг в студию! (БЕЗ КОММЕНТАРИЕВ И ПУСТЫХ СТРОК!!!!!!!!!!)
df -h аналогично

http_port 192.168.1.254:3128
icp_port 0
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \?
no_cache deny QUERY
cache_dir ufs /var/spool/squid 3000 16 256
cache_access_log /var/log/squid/access.log
cache_log /var/log/squid/cache.log
cache_store_log /var/log/squid/store.log
pid_filename /var/run/squid/squid.pid
auth_param basic children 5
auth_param basic realm Squid proxy-caching web server
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off
refresh_pattern ^ftp: 1440 20% 10080
refresh_pattern ^gopher: 1440 0% 1440
refresh_pattern . 0 20% 4320
acl all src 0.0.0.0/0.0.0.0
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl to_localhost dst 127.0.0.0/8
acl SSL_ports port 443 563
acl Safe_ports port 80 # http
acl Safe_ports port 21 # ftp
acl Safe_ports port 443 563 # https, snews
acl Safe_ports port 70 # gopher
acl Safe_ports port 210 # wais
acl Safe_ports port 1025-65535 # unregistered ports
acl Safe_ports port 280 # http-mgmt
acl Safe_ports port 488 # gss-http
acl Safe_ports port 591 # filemaker
acl Safe_ports port 777 # multiling http
acl CONNECT method CONNECT
acl good_ip src "/usr/local/etc/squid/good_ip.txt"
acl bad_url url_regex "/usr/local/etc/squid/bad_url.txt"
acl bad_urlpath urlpath_regex "/usr/local/etc/squid/bad_urlpath.txt"
acl porn url_regex "/usr/local/etc/squid/porn.txt"
acl noporn url_regex "/usr/local/etc/squid/noporn.txt"
http_access allow manager localhost
http_access deny manager
http_access deny bad_url
http_access deny bad_urlpath
http_access deny porn
http_access allow good_ip
http_access deny all
http_reply_access allow all
error_directory /usr/local/etc/squid/errors/Russian-1251
coredump_dir /usr/local/squid/cache

Filesystem Size Used Avail Capacity Mounted on
/dev/ad1s1a 984M 53M 852M 6% /
/dev/ad1s1f 6.7G 10.0K 6.2G 0% /tmp
/dev/ad1s1g 22G 1.5G 19G 7% /usr
/dev/ad1s1e 6.7G 325M 5.9G 5% /var
procfs 4.0K 4.0K 0B 100% /proc

Всего записей: 17 | Зарегистр. 17-12-2004 | Отправлено: 11:08 12-04-2005

Silver Member

Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

PashaG

Цитата:

Меня в тупик ставят сообщения в cache.log, особенно следующее:

(squid_ldap_auth): ../../../libraries/libldap/search.c:189: ldap_search: Assertion `ld != ((void *)0)' failed.

Код:

int
ldap_search(
LDAP *ld, LDAP_CONST char *base, int scope, LDAP_CONST char *filter,
char **attrs, int attrsonly )
{
BerElement *ber;
ber_int_t id;

#ifdef NEW_LOGGING
LDAP_LOG ( OPERATION, ENTRY, "ldap_search\n", 0, 0, 0 );
#else
Debug( LDAP_DEBUG_TRACE, "ldap_search\n", 0, 0, 0 );
#endif

assert( ld != NULL );
assert( LDAP_VALID( ld ) );

Предпоследняя строка срабатывает. В качестве параметра ld (указатель на структуру, описывающую соединение с LDAP сервером) в функцию передается NULL. Я бы стал смотреть логи LDAP-сервера.

Добавлено:
Хотя я абсолютно не уверен в том, что ты передаешь правильные параметры модулю squid_ldap_auth. Я никогда его не использовал и разбираться сейчас с его параметрами не хочу.

Всего записей: 2898 | Зарегистр. 30-05-2002 | Отправлено: 12:15 12-04-2005

PashaG Newbie	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору ooptimum Спасибо, буду разбираться с squid_ldap_auth. Если что-то хорошее из этого выйдет могу представить для общего обозрения.
	Всего записей: 9 \| Зарегистр. 22-09-2004 \| Отправлено: 12:57 12-04-2005

wchik

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

val0000
Вроде все правильно,
а как ты узнаешь процент?
у меня например сама страница гуглы тоже не кешируется, а картинки кешируются
а 20-30 процентов сарг показывает

----------
- Не надо, как лучше, надо, как положено
"Руки - это уникальный девайс. Они могут расти откуда угодно." (c) не знаю кто

Всего записей: 518 | Зарегистр. 05-03-2002 | Отправлено: 11:05 13-04-2005

val0000

Newbie

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

wchik

Цитата:

а как ты узнаешь процент?

Сравниваю сколько трафика съедает сервер фактически (использую ipacctd для ipfw) и сколько скачано юзерами (по логам squid). Эти цифры получаются почти одинаковые. Сервер съедает чуть меньше чем отдает юзерам. Но это различие в пределах 1-5%

Цитата:

у меня например сама страница гуглы тоже не кешируется, а картинки кешируются

Посмотрел, что у меня кешируется (TCP_HIT в логе) - это исключительно гифы причем размером меньше 4кб. Почему html не кэшируется, даже если он статический?

Всего записей: 17 | Зарегистр. 17-12-2004 | Отправлено: 12:04 13-04-2005

wchik

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:

Посмотрел, что у меня кешируется (TCP_HIT в логе) - это исключительно гифы причем размером меньше 4кб. Почему html не кэшируется, даже если он статический?

У меня тоже только гифы и джпеги

я как-то не проверял вручную, сарг говорит, что 20 - 30 процентов (это только по логам сквида) по общему траффику так и получается примерно, но уменя еще почтовик стоит и нат тоже поднят

Вот тут статья одиннадцать метрик контроля за успешной и эффективной работой Squid
http://www.nestor.minsk.by/sr/2004/04/40410.html

попробуй

Добавлено:
кстати команда:

Код:

squidclient mgr:info

среди всего прочего выводит

Цитата:

Request Hit Ratios: 5min: 23.4%, 60min: 37.6%
Byte Hit Ratios: 5min: 17.4%, 60min: 28.7%

меня устраивает с головой!

----------
- Не надо, как лучше, надо, как положено
"Руки - это уникальный девайс. Они могут расти откуда угодно." (c) не знаю кто

Всего записей: 518 | Зарегистр. 05-03-2002 | Отправлено: 16:36 14-04-2005 | Исправлено: wchik, 16:57 14-04-2005

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Народ, предлагаю сделать базу данных фильтров для сквида ..... программную часть и место для размещения я могу взять на себя, от вас потребуется только прислать свои листы блокировки

я солью их воедино, и сделаю сервис, с которого можно будет обновлять свои листы.

если есть желание, мыло pleshkov[собака]bk.ru или аська в профиле.

Всего записей: 452 | Зарегистр. 15-06-2004 | Отправлено: 19:21 21-04-2005

Junior Member

Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

wchik

Цитата:

Request Hit Ratios: 5min: 23.4%, 60min: 37.6%
Byte Hit Ratios: 5min: 17.4%, 60min: 28.7%

а не маловато ли?
У меня так:
Request Hit Ratios: 5min: 75.5%, 60min: 49.0%
Byte Hit Ratios: 5min: 5.5%, 60min: 17.2%
хотя мне кажется, что если выстроить статистику не на 5 и 60 минут а на сутки неделю месяц, то цифры будут совсем другими. Вполне может быть.
Вот почему мне до сих пор хочется поставить себе сарг. Но он почему то пока не пашет.

.

Pleshkov

Цитата:

листы блокировки

Блокировки чего?

Всего записей: 125 | Зарегистр. 26-01-2003 | Отправлено: 14:23 22-04-2005

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Ptrovich

Цитата:

Блокировки чего?

Порно, варез сайты и т.д

Всего записей: 452 | Зарегистр. 15-06-2004 | Отправлено: 15:31 22-04-2005

Junior Member

Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Pleshkov

Я наверное скептически настроен но все таки.
1 Тема такая уже тут есть. Я сам с нее брал файлы блокировки.
2 Во вторых, в каждой локалке есть свое направление на ресурсы рунета.
Например у меня в среднем наиболее посещаемые сайти : гисметео,укр.нет,гугл, яндекс, и еще пару новостных серверов. Таким образом мне проще самому отследить банеры на этих ресурсах и их порезать(файл на 30 строк), чем качать файл banners размером 1.5 метра и потом при каждом запросе сквид будет сквозь него прочесывать.
3 остается парнуха. Ну тут у каждого свои предпочтения борьбы. Я например считаю самым эффективным методом содержать в сети ресурс с порнофильмами (25 гиг) и его регулярно (раз в полгода) обновлять. Как результат - я с интернет парнухой не имею проблем уже давно.

Всего записей: 125 | Зарегистр. 26-01-2003 | Отправлено: 15:51 22-04-2005

pyrius Junior Member	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору 11 за неинформативное сообщение. читай правила. /emx/
	Всего записей: 72 \| Зарегистр. 18-12-2003 \| Отправлено: 00:17 29-04-2005 \| Исправлено: emx, 23:41 05-05-2005

msasha Newbie	Редактировать \| Профиль \| Сообщение \| Цитировать \| Сообщить модератору за неинформативное сообщение. читай правила. /emx/
	Всего записей: 19 \| Зарегистр. 26-10-2003 \| Отправлено: 00:18 29-04-2005 \| Исправлено: emx, 23:41 05-05-2005

wchik

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Pleshkov
такая задумка уже была
файлы помнится сбрасывали lynx на почту
они лежат еще здесь
http://forall.ru-board.com/netarchive/fa.html
заглохло я думаю по той причине что обновляется все действительно вручную там подправили строку там добавили там удалили а дифы делать или нет времени или лень
потому файлы на форуме есть, начать есть откуда, а там дальше каждый затачивает блокировки под себя
кстати файлы есть еще на сайтах режика и сквидгуарда, они даже иногда обновляются

----------
- Не надо, как лучше, надо, как положено
"Руки - это уникальный девайс. Они могут расти откуда угодно." (c) не знаю кто

Всего записей: 518 | Зарегистр. 05-03-2002 | Отправлено: 10:47 29-04-2005 | Исправлено: wchik, 10:50 29-04-2005

WolfEnstein

BANNED

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

может вопрос немного ламерский но как работать правильно с конфигом. Допустим как работать со строкой
#default
#127.0.0.1 3128
Как и что тут надо делать?
И еще как решить проблему:
FATAL: Could not determine fully qualified hostname. Please set 'visible_hostname'

Squid Cache (Version 2.5.STABLE6): Terminated abnormally.
CPU Usage: 0.011 seconds = 0.010 user + 0.001 sys
Maximum Resident Size: 0 KB
Page faults with physical i/o: 0
Aborted

Всего записей: 615 | Зарегистр. 16-01-2004 | Отправлено: 20:17 05-05-2005

wchik

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

WolfEnstein
находишь вот такой блок у себя

Код:

# TAG: visible_hostname
# If you want to present a special hostname in error messages, etc,
# then define this. Otherwise, the return value of gethostname()
# will be used. If you have multiple caches in a cluster and
# get errors about IP-forwarding you must set them to have individual
# names with this setting.
#
#Default:
#visible_hostname

последнюю строку делаешь вида

Код:

visible_hostname myproxy.mycompany.ru

Строка дефолт означает что такое значение у тебя стоит по умолчанию
если тебе надо изменить это значение снимай комментарий это значек "#" и пиши свое
например было:

Код:

#127.0.0.1 3128

а делаешь:

Код:

192.168.0.1 3128

Еще глянь вот сюда:
http://www.opennet.ru/base/net/squid_inst.txt.html
http://www.opennet.ru/base/net/squid_on_linux.txt.html
для начинающих и кратко соответственно

----------
- Не надо, как лучше, надо, как положено
"Руки - это уникальный девайс. Они могут расти откуда угодно." (c) не знаю кто

Всего записей: 518 | Зарегистр. 05-03-2002 | Отправлено: 12:43 06-05-2005

Borgia

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

то алл. есть несколько вопросов.
картина примерно такая
есть центральное подразделение гос конторы . стоит isa server работает в режиме proxy .
все другие отделения в других районов и городов - (топология типа звезды) получают через него интернет.
есть мысль - в крупных отделениях поставить свой прокси
вопрос.
1, насколько это поможет сократить трафик между отделениями может кто уже сталкивался с подобным.
2, возможно ли заставить сквид работать только с кешем isa server - в какую сторону смотреть и нужно ли для это-го
что то менять в настройках isa server.
3, какое железо для этого нужно - примерно 150-170 юзеров.
4, есть ли какие проблемы с авторизацией через домеин вин 2003.

[

Всего записей: 545 | Зарегистр. 25-08-2001 | Отправлено: 16:38 08-05-2005 | Исправлено: Borgia, 20:02 08-05-2005

WolfEnstein

BANNED

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

wchik
Большое спасибо за помощь.
но, появились еще вопросы.

1.Я создал ACL все нормально в логах по поводу этого ошибки нет. Но у клиента сайты не грузятся. У него пишет что не возможно определить IP адресс.
В логах пишет
DNS Socket created at 0.0.0.0, port 32783, FD 4
2005/05/09 14:03:09| Warning: Could not find any nameservers. Trying to use localhost
2005/05/09 14:03:09| Please check your /etc/resolv.conf file
2005/05/09 14:03:09| or use the 'dns_nameservers' option in squid.conf.2005/05/09 14:03:09|
Понятно что ошибка с ДНС.Но как правильно ее исправить. Сейчас у меня в сети 2 компьютера. На одном сквид установлен,на другом клиент с WIN XP. Сайты которые в конфиге в dns_testnames прописаны я не менял. Всеравно ничего не работает.
Обязательна ли установка локального ДНС сервера? Или может просто необходимо что-то подправить в конфиге о чем я не знаю.(надеюсь на помощь).Почему в таком случае если на машине с WINXP поставить например Трафик инспектор или Юзергейт инет нормально работает у клиента и ДНС никакие не настраивались? Именно при работе как прокси не NAT.
Очень надеюсь на Вашу помощь.

Всего записей: 615 | Зарегистр. 16-01-2004 | Отправлено: 19:03 09-05-2005

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

WolfEnstein
открываешь файл

Цитата:

/etc/resolv.conf

и вписываешь туда адреса своих ДНС серверов. И все.

Всего записей: 452 | Зарегистр. 15-06-2004 | Отправлено: 21:30 09-05-2005

wchik

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

WolfEnstein

Цитата:

Обязательна ли установка локального ДНС сервера?

нет не обязательно,

но желательно

Цитата:

Почему в таком случае если на машине с WINXP поставить например Трафик инспектор или Юзергейт инет нормально работает

потому что у тебя на WINXP настроен ДНС

Pleshkov

Цитата:

и вписываешь туда адреса своих ДНС серверов. И все.

чел не знает как комменты снимать с конф файла

хоть бы написал как писать

WolfEnstein
запись должна быть вида

Код:

nameserver 11.11.11.11

где 11.11.11.11 - адрес днс сервера твоего прова

я говорил о том что желательно иметь локальный сервер, но в твоем случае
можно прописать в сквид конф что-то типа

Код:

dns_nameservers 10.0.0.1 192.172.0.4

это не избавляет тебя от правки /etc/resolv.conf

(поскольку это глобальный системный файл настройки ДНС)
просто локальный ДНС сервер кеширует запросы и не спрашивает по 100 раз о том же адресе, экономится траффик
сквид так же умеет кешировать запросы если ему указать эту опцию

Всего записей: 518 | Зарегистр. 05-03-2002 | Отправлено: 11:21 10-05-2005

Full Member

Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

wchik

Цитата:

чел не знает как комменты снимать с конф файла хоть бы написал как писать

Прошу прощения, теперь буду писать.
WolfEnstein

Цитата:

dns_testnames

убери эту опцию, только лишний трафик опрождает. Просто поставь вначале строки #

Всего записей: 452 | Зарегистр. 15-06-2004 | Отправлено: 12:02 10-05-2005

Открыть новую тему

Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » SQUID (только под *nix)

Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC