Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » LightSquid

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

Открыть новую тему     Написать ответ в эту тему

ginger



Рыжик
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

LightSquid - lite and fast log analizer for squid proxy

Текущая версия 1.8 Изменения  
Домашняя страница автор Сергей Ерохин (Sergey Erokhin).
 
LightSquid маленькая и быстрая программка сбора статистики работы пользователей через прокси-сервер Squid, является альтернативой SARG, представляет собой набор из нескольких скриптов написанных на языке программирования perl.
 
Требования:
 
Apache
Perl
Perl-GD2 (если необходимы графики)
Squid
Cron
 
Установка.

Всего записей: 851 | Зарегистр. 03-09-2001 | Отправлено: 11:18 01-02-2006 | Исправлено: zhe_zho, 18:28 27-01-2014
FantOS



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fly_house

Цитата:
я так подозреваю, что происходит потому что в файле /var/db/dhcpd/dhcpd.leases в некоторый случаях появляется строчка "uid",  а в некоторых нет, поэтому сбивается форматирование... подскажите как решить, или как оптимизировать скрипт, чтоб корректно считывалось...

 
Подправил, теперь если в файле dhcpd.leases отсутсвует строчка client-hostname, то используется IP-адрес, соответсвенно в отчетах будет отображаться не имя компа, а ip.
 
ip2name.mydhcp

Код:
#use /var/db/dhcpd/dhcpd.leases  
#look like  
#lease 192.168.0.85 {  
# starts 3 2007/11/07 01:56:06;  
# ends 3 2007/11/14 01:56:06;  
# binding state active;  
# next binding state free;  
# hardware ethernet 00:15:f2:e0:69:4d;  
# uid "\001\000\025\362\340iM";  
# client-hostname "Sasha";  
#}  
 
use Socket;
 
sub StartIp2Name() {  
my $body = Readdhcpd_leases();  
while ($body =~ m/\nlease (.*?)\s?\{(.*?)\}/sig) {  
my $ip = $1;  
my $tmp = $2;  
$tmp =~ m/\n(.*)?hostname\s"(.*)?"/;
my $host = $2;
if ($host =~ /starts/) {$host = $ip;}
$host = "\u\L$host";  
$hIP{$ip} = $host;  
}  
}  
 
sub Ip2Name($$$) {  
#$Lhost,$user,$Ltimestamp  
if (exists($hIP{$Lhost})) {  
$Lhost = $hIP{$Lhost};  
}  
return $Lhost;  
}  
 
sub StopIp2Name() {  
}  
 
sub Readdhcpd_leases() {  
local $/;  
my $file;  
open FFAAAA,"<","/var/db/dhcpd/dhcpd.leases";
$file=<FFAAAA>;  
close FFAAAA;  
return $file;  
}  
 
#warning !!!!  
1;

Всего записей: 94 | Зарегистр. 19-05-2006 | Отправлено: 10:04 22-03-2009 | Исправлено: FantOS, 08:18 01-04-2009
AVATAR77

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Уважаемый автор программы, хочу поблагодарить за создание данного анализатора логов! Если можно прикрутите пожалуйста прогу для вырезание файлов из кэша сквида, было бы очень удобно при просмотре скачанных больших файлов...

Всего записей: 3 | Зарегистр. 11-01-2008 | Отправлено: 02:50 20-04-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
AVATAR77

Цитата:
было бы очень удобно при просмотре скачанных больших файлов...

А ты уверен что они в кеш попадают? На сколько я помню из конфига squid по умолчанию там вот это:

Цитата:
Option Name:    maximum_object_size
Replaces:    
Requires:    
Default Value:    maximum_object_size 4096 KB
Suggested Config:     
 
    Objects larger than this size will NOT be saved on disk.  The
    value is specified in kilobytes, and the default is 4MB.  If
    you wish to get a high BYTES hit ratio, you should probably
    increase this (one 32 MB object hit counts for 3200 10KB
    hits).  If you wish to increase speed more than your want to
    save bandwidth you should leave this low.
 
    NOTE: if using the LFUDA replacement policy you should increase
    this value to maximize the byte hit rate improvement of LFUDA!
    See replacement_policy below for a discussion of this policy.


----------
Fools rush in where angels fear to tread.

Всего записей: 5452 | Зарегистр. 10-09-2003 | Отправлено: 11:38 20-04-2009
AVATAR77

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
не уверен, что нужно сделать чтобы сохраняло?

Всего записей: 3 | Зарегистр. 11-01-2008 | Отправлено: 17:46 20-04-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
AVATAR77

Цитата:
что нужно сделать чтобы сохраняло?

Это другая тема. Но увеличение размера кешируемого файла приведёт к неэффективной работе самого кеша. ИМХО.

----------
Fools rush in where angels fear to tread.

Всего записей: 5452 | Зарегистр. 10-09-2003 | Отправлено: 19:21 20-04-2009
dun356

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
У меня lightsquid показывает потребленный трафик через прокси(squid) в 2раза больше, чем показывает статистика у провайдера.
Например,  
lightsquid - 94,2Мб
провайдер - 46,712,221 байт
 
при этом у меня в фаирволе (iptables) запрещено ходит в Интернет, кроме как через сквид.  
Ставил lighsquid по статье
http://slava-boor.livejournal.com/25340.html
 
Автоматизация анализа логов squid'а и ротация логов настроена так.
В консоле из под root набираем "crontab -e".
Затем туда прописывем строки:
59 23 * * * /var/www/lightsquid/lightparser.pl today
0 0 * * * /usr/sbin/squid -k rotate
 
squid 2.6 STABLE18
lightsquid v.1.7
ОС: ubuntu 8.04.02
 
На что мне обратить внимание?

Всего записей: 6 | Зарегистр. 17-02-2008 | Отправлено: 08:41 06-05-2009 | Исправлено: dun356, 09:36 06-05-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
У меня lightsquid показывает потребленный трафик через прокси(squid) в 2раза больше, чем показывает статистика у провайдера.  
Например,  
lightsquid - 94,2Мб  
провайдер - 46,712,221 байт  
 

чему равен Hit % ?
 

Цитата:
 
0 0 * * * /usr/sbin/squid -k rotate  
 

59 23 * * * /var/www/lightsquid/lightparser.pl today  
изменил на
55 23 * * * /var/www/lightsquid/lightparser.pl today  
на всякий случай вдруг парсинг будет идти дольше чем минуту ...
 
 
я бы еще добавил
15,30,45 * * * * /var/www/lightsquid/lightparser.pl today  

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 11:51 06-05-2009 | Исправлено: lightsquid, 11:55 06-05-2009
dun356

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
чему равен Hit % ?

Вот это взял с моей статистики

Код:
 
Дата Группа Пользователей  Превысили Байт В среднем Cache Hit %  
05 Май 2009 груп. 2                  2            94.2   M 47.1 M     3.50%  
 

Вот и сейчас проверил
На данный момент статистика lightsquid

Код:
06 Май 2009 груп. 1 1 16.4 M 16.4 M 5.48%  

А статистика провайдера

Код:
2009-05-06             5`938`408 байт  

Т.е. так всегда, трафик больше в 2-раза.
Я поэтому и сделал парсинг логов раз в сутки и даже только за текущий день.

Код:
59 23 * * * /var/www/lightsquid/lightparser.pl today  

А также ротацию логов раз в сутки.

Код:
 
0 0 * * * /usr/sbin/squid -k rotate
 

Это все для чистоты эксперимента.
А лог squidа у меня не большой. За сутки набигает, чуть больше 2Мб, поэтому считать будет точно меньше минуты.
 
Единственное, что сделал, дк это в файле

Код:
/var/www/lightsquid/realname.cfg

Сопоставил ip-адресам , Имена пользователей в таком виде

Код:
192.168.0.20    Имя_пользователя

Всего записей: 6 | Зарегистр. 17-02-2008 | Отправлено: 15:07 06-05-2009 | Исправлено: dun356, 18:04 06-05-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Вот это взял с моей статистики  
 
Код:
 
Дата Группа Пользователей  Превысили Байт В среднем Cache Hit %  
05 Май 2009 груп. 2                  2            94.2   M 47.1 M     3.50%  
 
 
Вот и сейчас проверил  
На данный момент статистика lightsquid  
 
Код:
06 Май 2009 груп. 1 1 16.4 M 16.4 M 5.48%  
 
А статистика провайдера  

 
Предлагаю посчитать чем либо еще
calamaris/sarg и сравнить результаты
 
хотя с таким еще не сталкивался ....
 
отпишитесь

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 18:04 06-05-2009
dun356

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
не знаю, возможно, ли такое чтобы lightsquid у меня считает исходящий + входящий трафик? Поэтому и показания с втатистиках расходятся.
Просто письмо отправлял с вложением примерно 9,3Мб.
И затем статистику посмотрел, видно что  

Код:
1 mail.xxx.xxx:443 19 10.2 M 10.2 M 81.2%  
 
И далее cмотрим отчет "БОЛЬШИЕ скачанные файлы"

Код:
Отчёт о БОЛЬШИХ скачаных файлах  
Дата: 08 Май 2009  
Пользователь: 192.168.x.xx  
   
№ Время Пользователь Скачано URL  
 
1 09:46:45 192.168.x.xx 9.3 M mail.xxx.xxx:443  
  TOTAL 9.3 M  
 
А вложение я вкладывал в письмо, т.е. исходящий трафик.
Такое может быть?
 
У меня для 443 порта в конфиге сквида такие acl
кусок конфига squid.conf

Код:
 
.....
acl SSL_ports port 443          # https
acl Safe_ports port 443         # https
....
# Deny requests to unknown ports
http_access deny !Safe_ports
# Deny CONNECT to other than SSL ports
http_access deny CONNECT !SSL_ports
.....
 

 
Вот тут
Код:
http://lists.altlinux.org/pipermail/sysadmins/2008-May/026372.html
прочитал, что

Код:
Сквид в свои логи (которые уже потом и обрабатывает lightsquid)
> > пишет информацию о переданном трафике по каждому соединению --
> > насколько я понял, о трафике переданном в обе стороны. В случае
> > использования клиентом метода GET это проблемы не представляет,
> > т.к. исходящего трафика там совсем уж копейки генерируются. В
> > случае же использования метода CONNECT и, возможно, POST, исходящий
> > трафик может во много раз превышать входящий -- скажем, при заливке
> > большого файла на фтп через такой прокси.
Это так?
 
Мне нужно считать только входящий трафик , в том числе соединений по протоколу https.  
Т.к. пользователи много работают по протоколу https (почта и пр.)
Как быть в моем случае?

Всего записей: 6 | Зарегистр. 17-02-2008 | Отправлено: 09:51 08-05-2009 | Исправлено: dun356, 10:38 08-05-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
все может быть, надо это дело исследовать
если у вас есть возможность исследовать эту область и поделится,  
думаю что-то придумали бы, если это можно понять по данным в access.log ...
 
повторю свой вопрос, что показывают другие считалки ?
 
и в принципе в отчете day_detail есть колонка PutPost
в ней как раз и должно быть что-то в вашем случае, проверьте
 
 
 
Добавлено:
вышлите несколько access.log чтобы было что посмотреть на lightsquid@gmail.com

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 16:08 08-05-2009
dun356

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
и в принципе в отчете day_detail есть колонка PutPost  

где  эта колонка?
 
у меня в отчете  

Код:
http://192.168.0.1/lightsquid/day_detail.cgi?year=2009&month=05&day=08

такие колонки

Код:
Отчёт по использованию интернета, прокси-сервер Squid.  
 
Дата:  08 Май 2009 (Обновлено :: 17:43 :: 8 Май 2009)  
 
   
Популярные сайты (отчёт)  
Кто скачал БОЛЬШИЕ файлы (отчёт)  
№ Время Пользователь Ф.И.О Соединений Байт % Группа  
 
1  192.168.0.20 user1 3 696 38.4 M 99.4% ?  
2  192.168.0.30 user2 76 208 219 0.5% ?  
 
 

Всего записей: 6 | Зарегистр. 17-02-2008 | Отправлено: 16:50 08-05-2009 | Исправлено: dun356, 16:52 08-05-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Проверь в конфиге, включено ли оно
 
#show how many data user send to internet
$showputpost         = 1;
#if putpost higer this variable (in percent), highlight it
$putpostwarninglevel =15;

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 14:23 11-05-2009
dun356

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Проверь в конфиге, включено ли оно  
 
#show how many data user send to internet  
$showputpost         = 1;  
#if putpost higer this variable (in percent), highlight it  
$putpostwarninglevel =15;

 
В конфиге  
/var/www/lightsquid/lightsquid.cfg
включил параметр
Код:
$showputpost         = 1;

 
Попробывал сделать вложение в почту (работает по 443 порту).
Спустя 10 мин., анализируем лог squid'а

Код:
/var/www/lightsquid# ./lightparser.pl

Смотрим статистику

Код:
http://192.168.0.1/lightsquid/


Код:
Отчёт по использованию интернета, прокси-сервер Squid.  
 
Дата:  12 Май 2009 (Обновлено :: 09:32 :: 12 Май 2009)  
 
   
Популярные сайты (отчёт)  
Кто скачал БОЛЬШИЕ файлы (отчёт)  
№ Время Пользователь Ф.И.О Соединений PutPost Байт % Группа  
 
1  192.168.0.20               user1     412             0    8.5 M 100.0% ?  
 

 
Колонка Байт увеличилась на величину вложения.
А колонка PutPost - не изменила значение.

Всего записей: 6 | Зарегистр. 17-02-2008 | Отправлено: 08:42 12-05-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
по поводу PutPost гляну сегодня
 
а кстати в той ветке что ты давал, похоже есть ответ ...
 
 
http://lists.altlinux.org/pipermail/sysadmins/2008-May/026414.html
 

Цитата:
> Это реализуемо или подсчет трафика в обе стороны вшит в сквид?
 
Именно "вшит".
Если вам необходимо считать только исходящий трафик, то воспользуйтесь  
"средствами подсчета трафика", а не "прокси-сервером".
 

 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 11:54 12-05-2009 | Исправлено: lightsquid, 11:55 12-05-2009
vsvh

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lightsquid использую около года, с некоторого момента lightsquid в отчете перестал отображать IP пользователей, переустанавливал, искал по форумам, но не смог победить  
FreeBSD 7.1  
lightsquid-1.7.1_1  
squid-3.0.9  
вот что показывает:  
   
Популярные сайты (отчёт)  
Кто скачал БОЛЬШИЕ файлы (отчёт)  
№ Время Пользователь Ф.И.О Соединений Байт % Группа  
   
1  close\r\ncontent-type: ? 33 753 771 79.4% ?  
2  keep-alive\r\ncontent-type: ? 47 175 072 18.4% ?  
3  domain=.adriver.ru\r\nlocation: ? 12 10 334 1.0% ?  
4  gmt;path=/;domain=.adriver.ru\r\ncontent-type: ? 2 5 117 0.5% ?  
5  www1.online.ua:3128 ? 1 1 369 0.1% ?  
6  no-cache\r\ncontent-type: ? 3 1 355 0.1% ?  
7  asp.net\r\ncontent-type: ? 1 1 045 0.1% ?  
8  gmt\r\nserver: ? 1  
   
пожалуйста подскажите

Всего записей: 4 | Зарегистр. 14-05-2009 | Отправлено: 11:51 15-05-2009
vsvh

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
вопрос по lightsquid снимается, во время правки squid.conf  была сделана запись log_mime_hidrs on
и она изменила формат лога и как следствие lightsquid перестал правильно отображать информацию. Спасибо за внимание.

Всего записей: 4 | Зарегистр. 14-05-2009 | Отправлено: 14:28 19-05-2009
Katerinka0307



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Доброго всем времени суток! Такой вопросик: Возможно ли в squid организовать так, что бы какой-либо адрес просто не выводился в отчете, который просматривается через браузер? Если да, то как это сделать?

Всего записей: 39 | Зарегистр. 25-11-2008 | Отправлено: 04:28 25-05-2009
Dr_Spectre



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Если да, то как это сделать

добавить его в исключения в конфиге lightsquid

----------
Со всеми регардами - Alexei Dmitriev aka Dr.Spectre
Чтобы добиться успеха в этом мире, одной глупости недостаточно, к ней нужны еще хорошие манеры.
(c) Вольтер

Всего записей: 1545 | Зарегистр. 15-12-2001 | Отправлено: 11:28 25-05-2009
Katerinka0307



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Dr_Spectre а где именно в конфиге содержатся исклюсения, после каких зарисей и т.д., мне надо поконкретней, а то я так могу все сломать!:D

Всего записей: 39 | Зарегистр. 25-11-2008 | Отправлено: 08:41 26-05-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » LightSquid


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru