Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » LightSquid

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Открыть новую тему     Написать ответ в эту тему

ginger



Рыжик
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

LightSquid - lite and fast log analizer for squid proxy

Текущая версия 1.8 Изменения  
Домашняя страница автор Сергей Ерохин (Sergey Erokhin).
 
LightSquid маленькая и быстрая программка сбора статистики работы пользователей через прокси-сервер Squid, является альтернативой SARG, представляет собой набор из нескольких скриптов написанных на языке программирования perl.
 
Требования:
 
Apache
Perl
Perl-GD2 (если необходимы графики)
Squid
Cron
 
Установка.

Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 11:18 01-02-2006 | Исправлено: zhe_zho, 18:28 27-01-2014
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Katerinka0307
Тут какое то противоречие...
Сначала правим файл, а потом отменяем правку запустив lightparser.pl, который возвращает всё на свои места.
Не проще ли занести свой логин в skipuser и вообще не заморачиваться с логами?
 
lightsquid
Вопрос есть...
Т.к. конец года на носу то есть желание почистить статистику за 2007 год есть ли возможность как то автоматом это сделать?

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 07:32 28-11-2008
Katerinka0307



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza
А что в skipuser вообще? Если это совсем удалит мой логин из статистики, то так не пойдет!!!!

Всего записей: 39 | Зарегистр. 25-11-2008 | Отправлено: 07:39 28-11-2008
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Katerinka0307
Ну в таком случае... Даже не знаю... разве что правка access.log squid'а.

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 07:51 28-11-2008
Katerinka0307



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza
ну сами же отчеты можно как-нибудь исправить?

Всего записей: 39 | Зарегистр. 25-11-2008 | Отправлено: 08:23 28-11-2008
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Katerinka0307
Отчёт можно исправить - не проблема. А вот отработавший lightparser.pl опять их восстановит, но если исправлять прошлые периоды то по идее восстановление не произойдёт т.к. lightparser.pl в идеале выполняется с параметром "today"...
Т.е. после исправлений выполнять нужно "lightparser.pl today", но выполненный просто lightparser.pl восстановит как было, если не произошла ротация логов скида

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 10:19 28-11-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Katerinka0307  
 
для того чтобы исправить значение в отчете надо  
1) найти день , он лежит в папке report/DDDDMMYY
2) исправить файл .total (найти в нем нужного пользователя и исправить значение которое выдается в общем отчете
детали http://lightsquid.sourceforge.net/Inside%20LightSquid.html
3) найти файл по пользователю и подправить в нем нужное
4) не запускать lightparser.
5) результаты можно посмотреть в браузере
 
если lightparser будет обрабатывать день который вы исправили, он перезапишит все данные.
 
если нужно ПОСТОЯННО не учитовать некоторые сайты (но это работает для ВСЕХ ползователей)
добавляем сайт в
 
 
 
Добавлено:
Katerinka0307  
 
для того чтобы исправить значение в отчете надо  
1) найти день , он лежит в папке report/DDDDMMYY
2) исправить файл .total (найти в нем нужного пользователя и исправить значение которое выдается в общем отчете
детали http://lightsquid.sourceforge.net/Inside%20LightSquid.html
3) найти файл по пользователю и подправить в нем нужное
http://lightsquid.sourceforge.net/userdetails.html
4) не запускать lightparser.
5) результаты можно посмотреть в браузере
6) возможно подправить файл .bigfiles
 
 
 
если lightparser будет обрабатывать день который вы исправили, он перезапишит все данные.
 
если нужно ПОСТОЯННО не учитовать некоторые сайты (но это работает для ВСЕХ ползователей)
добавляем сайт в
$skipurl             = 'zdd.com|192\.168\.1\.|cnn\.com';
 
 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 12:23 28-11-2008
Katerinka0307



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza
даже если я исправляю за вчерашний день они возвращаются обратно, что делать помогите мне скоро конец месяца!!!

Всего записей: 39 | Зарегистр. 25-11-2008 | Отправлено: 12:27 28-11-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza:
Вопрос есть...  
Т.к. конец года на носу то есть желание почистить статистику за 2007 год есть ли возможность как то автоматом это сделать?
 
просто удалите лишние папки в report ....
автомата пока нет, и даже незнаю а нужен ли он
я так понимаю что rm 2008* .... должен отбработаь
 
Добавлено:
ikrotish:
День добрый, вопрос заключается в следующем.  
 
можно ли как-то сделать, чтобы статистика по определённым юзерам, группам юзеровв, я бы сказал,  
высылалась ежедневно на определённые и-мэйлы?
 
пройдитесь по этой ветке, там есть скрипт.
 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 12:28 28-11-2008
Loafer



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
я так понимаю что rm 2008*

только он хотел за 2007  

----------
Никнейм зарегистрирован

Всего записей: 6458 | Зарегистр. 09-12-2001 | Отправлено: 16:06 28-11-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Katerinka0307
даже если я исправляю за вчерашний день они возвращаются обратно, что делать помогите мне скоро конец месяца!!!
 
конечно, у вас видимо лог за весь месяц, и перестраивается переодичесски (раз в 10/15/30/...) минут
сооветсвенно все и затирает,
смотрите как ону пускается, как логи ротейтяться
в общем - учите матчасть.
 
loafer:
ну эт идея, для того кто понимает, остальным будет наука
rm -rf /

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 19:35 28-11-2008
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Loafer

Цитата:
только он хотел за 2007

ну типа того...
Да и rm 2008* какието вопросы задавать начало... наверное надо ключик дописать -f
 
lightsquid

Цитата:
rm -rf /  

Так не надо писать, а то криков будет много... Но статистику почистит капитально
А за подсказку спасибо... То я чего то от SARG'а не отошёл с его index.html...

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 07:53 29-11-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Так не надо писать, а то криков будет много... Но статистику почистит капитально
 

не будет, в либы вставили проверку, оно переспросит ...

Цитата:
 
А за подсказку спасибо... То я чего то от SARG'а не отошёл с его index.html...
 

??????

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 16:12 29-11-2008
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
sorry
 
lightsquid

Цитата:
не отошёл с его index.html...  

Да пришлось индексы править руками после неудачного "удаления" излишнего трафика у одного знакомого, возник вопрос со своей статистикой, но протупил/забыл perl-генерацию lightsquid
Поэтому и спросил, хотя ответ знал уже через полчаса после написания вопроса.
 
З.Ы. Спасибо за прогу!

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 22:06 29-11-2008 | Исправлено: Ruza, 22:09 29-11-2008
Katerinka0307



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Большое, прибольшое всем спасибо!!!!

Всего записей: 39 | Зарегистр. 25-11-2008 | Отправлено: 03:45 01-12-2008
Grishka1

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем привет !  
Есть такой вопрос - как в lightsqud вывести статистику за неделю ?  
Заранее большое спасибо.

Всего записей: 1 | Зарегистр. 01-12-2008 | Отправлено: 18:07 01-12-2008 | Исправлено: Grishka1, 18:08 01-12-2008
lkrotish

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
И снова вопрос,  
 
А можно ли как-то вывести статистику по большим скачаным файлам  не за день, а, скажем, за месяц?

Всего записей: 219 | Зарегистр. 26-09-2007 | Отправлено: 21:04 01-12-2008
GreyGendalf

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
доброго всем дня
 
lightsquid различает трафик по HIT\MISS? или суммируется все, что отдано пользователю squid'ой (неважно, из кеша, или нет)?

Всего записей: 272 | Зарегистр. 06-01-2003 | Отправлено: 06:54 19-12-2008
Dimerson



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lightsquid был успешно использован для анализа логов Novell Border Manager Proxy (COMMON log).
 
На NetWare 6.5 имеется Apache2, Perl 5.8.4
Думаю что и на NW60 с Apache 1.3 и Perl 5.8 все заработает.
 
Один нюанс. По дефолту там работает Mod_perl - с ним не пошло - unknown поцедуры и все такое. Но и без мод_перла можно работать через perlcgi.nlm.
 
По mod_perl не решаемо ?
 
Спасибо автору за продукт - слава богу не используются внешние rm , sort (без cat можно обойтись как
в SARG (и обьем статистики в десятки раз меньше), не форков как в Free-SA.
 
UPD. На netware 6.0 все работает (Perl 5.8) . Вылезла проблемка - по завершению скрипта lightparser остается открытым accee.log
 
помогла правка lightparser.pl
 
# добавлено явное закрытие файла
close FF;  
}
# The END ---------------------------------------------------------

Всего записей: 197 | Зарегистр. 16-12-2001 | Отправлено: 11:42 30-12-2008 | Исправлено: Dimerson, 12:23 31-12-2008
DShtorm

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Столкнулся с такой проблемой  
запускаю lightsquid по cron каждый час в 0 минут
захожу после 24-00 в интернет , лажу по сайтам и тд
Смотрю утром статистику в папке /var/lib/lightsquid/
вижу что по некторым пользователям файлы лежат со временем 04-00 ,
а по некоторым 08-00 ( свежие )
если я захожу со своего ip опять , то он опять появляется в статистике со свежей датой , только доутренние данные там отсутствуют .... не подскажите в чем проблема  
 
вот шапка файла созданного в 04-00
 
total: 1358200
http.icq.com.edgesuite.net          421921          1    3-421921 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
s54.radikal.ru                      378306          1    0-378306 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
nnn.novoteka.ru                      87624         35    2-87624 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
80.93.126.10                         77042         18    0-77042 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
beta.novoteka.ru                     68684         18    0-68684 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
update.msk6.drweb.com                60196          7    0-60196 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
www.from-ua.com                      59433          1    0-59433 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
svitmedia.net                        20305          6    0-20305 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
ru.www.mozilla.com                   18906          5    0-18906 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
teaser.mbn.com.ua                    18787          8    0-18787 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
forum.ru-board.com                   16421          2    1-16421 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
 
 
а вот шапка файла созданного в 10-00
 
total: 887397
ukrtelecom.ua                       318420         40    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 1-318420 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
local.com.ua                        251692         75    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 1-251692 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
update.msk5.drweb.com                67150         12    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-67150 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
update.msk.drweb.com                 60945          7    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-60945 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
ru.www.mozilla.com                   37811         10    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-18906 0-18905 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
static.torrents.ru                   34036         21    0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-34036 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0 0-0  
 
 
Добавлено:
Нашел причину ... извиняюсь  
почему-то запускается logrotate в 04-00 ....

Всего записей: 106 | Зарегистр. 06-06-2007 | Отправлено: 11:39 29-01-2009
fly_house



Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Вот переделал немного стандартный скрипт ip2name.dhcp под свои нужды, теперь анализируется файл dhcp сервера (у меня это /var/db/dhcpd/dhcpd.leases) в котором есть информация о том какому компьютеру какой ip выдан, соответсвенно выдирается пара ip:имя_компа, очень удобно, мож еще кому сгодится  
ip2name.mydhcp
 

Код:
#use /var/db/dhcpd/dhcpd.leases  
#look like  
#lease 192.168.0.85 {  
#  starts 3 2007/11/07 01:56:06;  
#  ends 3 2007/11/14 01:56:06;  
#  binding state active;  
#  next binding state free;  
#  hardware ethernet 00:15:f2:e0:69:4d;  
#  uid "\001\000\025\362\340iM";  
#  client-hostname "Sasha";  
#}  
 
use Socket;  
 
sub StartIp2Name() {  
  my $body = Readdhcpd_leases();  
  while ($body =~ m/\nlease (.*?)\s?\{(.*?)\}/sig) {  
        my $ip = $1;  
        my $tmp = $2;  
        $tmp =~ m/\n(.*)?hostname\s"(.*)?"/;  
        my $host = $2;  
        $host = "\u\L$host";  
        $hIP{$ip} = $host;  
  }  
}  
 
sub Ip2Name($$$) {  
  #$Lhost,$user,$Ltimestamp  
  if (exists($hIP{$Lhost})) {  
        $Lhost = $hIP{$Lhost};  
  }  
  return $Lhost;  
}  
 
sub StopIp2Name() {  
}  
 
sub Readdhcpd_leases() {  
  local $/;  
  my $file;  
  open FFAAAA,"<","/var/db/dhcpd/dhcpd.leases";  
  $file=<FFAAAA>;  
  close FFAAAA;  
  return $file;  
}  
 
#warning !!!!  
1;

 
 

 
 
спасибо, сгодился... только вот иногда каша получается, вот такая:

Код:
 
user: 11
size: 1384353366
172.24.1.10                667802665           24778       263218123
Malenkov                   204689763           21302          428706
172.24.1.20                170909620            2922         1254168
172.24.1.186               106307641           14843           73384
172.24.1.112                85293200           18133          908271
172.24.1.195                43194559            7443          254917
172.24.1.184                40177823           10832          694825
 
  starts 3 2009/03/18 16:33:04;
  ends 3 2009/03/18 18:33:04;
  tstp 3 2009/03/18 18:33:04;
  binding state free;
  hardware ethernet 00:1f:d0:03:56:c9;
  uid "\001\000\037\320\003v\311";
        29915464            6048          138359
 
  starts 3 2009/03/18 16:36:42;
  ends 3 2009/03/18 18:36:42;
  tstp 3 2009/03/18 18:36:42;
  binding state free;
  hardware ethernet 00:1f:d0:03:56:cf;
  uid "\001\000\037\320\003v\317";
        26324799            1726           55565
172.24.1.161                 8435789            1777          318336
172.24.1.145                 1302043             176               0
 
 

 
а должно быть:

Код:
 
user: 7
size: 29781240
Goloborodiy                 12422487             387            4306
Malenkov                     7812933            2883           70506
172.24.1.10                  6039436            2345            6153
Yakovlev                     1318157              39           10795
Kudin                        1262364              20            1804
Samoilenko                    824739              15               0
 
 

 
я так подозреваю, что происходит потому что в файле /var/db/dhcpd/dhcpd.leases в некоторый случаях появляется строчка "uid",  а в некоторых нет, поэтому сбивается форматирование... подскажите как решить, или как оптимизировать скрипт, чтоб корректно считывалось...

Всего записей: 587 | Зарегистр. 08-09-2002 | Отправлено: 10:24 19-03-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » LightSquid


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru