Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » LightSquid

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Открыть новую тему     Написать ответ в эту тему

ginger



Рыжик
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

LightSquid - lite and fast log analizer for squid proxy

Текущая версия 1.8 Изменения  
Домашняя страница автор Сергей Ерохин (Sergey Erokhin).
 
LightSquid маленькая и быстрая программка сбора статистики работы пользователей через прокси-сервер Squid, является альтернативой SARG, представляет собой набор из нескольких скриптов написанных на языке программирования perl.
 
Требования:
 
Apache
Perl
Perl-GD2 (если необходимы графики)
Squid
Cron
 
Установка.

Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 11:18 01-02-2006 | Исправлено: zhe_zho, 18:28 27-01-2014
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Dr_Spectre

Цитата:
добавить его в исключения в конфиге lightsquid

Сразу бы и написал...
 
Katerinka0307

Цитата:
#if you want skip some sites from stat, example our local www server
#WARNING !!!, don't leave this variable empty !!!
#example, if you want skip LOCAL site, put it here
#$skipurl             = "zdd.com|192\.168\.1\.|cnn.com";
$skipurl             = "zzz\.zzz";

 
Вот тут написано как сделать но средствами squid...

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 11:32 26-05-2009 | Исправлено: Ruza, 11:35 26-05-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
#if you want skip some sites from stat, example our local www server
#WARNING !!!, don't leave this variable empty !!!
#example, if you want skip LOCAL site, put it here
#WARNING2  
#use '' instead of "" !!!!!!!!!!!
 
#$skipurl             = 'zdd\.com|192\.168\.1\.|cnn\.com';
$skipurl             = 'zzz\.zzz';

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 14:08 26-05-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lightsquid

Цитата:
#WARNING2  
#use '' instead of "" !!!!!!!!!!!

О! А у меня такого нету... Версия?

Цитата:
Version changes     Release date     Demo     Download     Key Changes
V1.7.1     2007-01-10     DEMO     Download     minor buffix, ip2name.abils with sql example
V1.7     2006-11-22     DEMO     Download     Speed, LARGE log support, smart log recovery, locking, skip user, new templates ....
V1.6 beta     2005-11-22     DEMO RIC_Template     Download     Graphic report, Group reports, Real Name & Group, Picures in templates,
1.5     2005-05-03     DEMO     Download     Multi Language, ip2name, oversize, month/year report, TIME report, Top Sites
1.4     2005-04-14     DEMO     Download     Template Engine, EmulateHTTPDLog format
...     ...     ...     ...     ...
1.1     2005-03-30     DEMO     Download     First Release


----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 14:13 26-05-2009 | Исправлено: Ruza, 14:19 26-05-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
О! А у меня такого нету... Версия?

 
1.8.0

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 14:29 26-05-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lightsquid
Ну так, недаром же...

Цитата:
как человек близкик к созданию

Релиз скоро?

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 18:18 02-06-2009
Varog

Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Доброго времени суток! Имеется конфигурация squid - ipcad- lightsquid - lighttpd
Версии:
FreeBSD 7.1
lightsquid-1.7.1
lighttpd-1.4.19
squid 2.7 Stable4
ipcad-3.7.3
 
Схема такая: прозрачный прокси, ipcad весит на интерфейсе который глядит в локалку, считаея все остальное, аггрегирует порты 80,3128 на 0 все остальное на 65535 и кидает в логи сквида.
 
Проблемка в следующем: при подсчете трафика лайтсквидом трафик удваивается.
 
Подскажите пожалуйста как в парсере лайтсквида запретить считать строки записанные ipcad'ом вида: 1245234300.000 1 192.168.0.45 TCP_MISS/200 3884 CONNECT 217.8.235.123:0 - DIRECT/217.8.235.123 -

Всего записей: 3 | Зарегистр. 17-06-2009 | Отправлено: 08:14 17-06-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
т.е. в один лог кидаются и данные от сквида и ipcad ???
 
Приведите пример строк обоего вида
 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 12:18 17-06-2009
Varog

Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
т.е. в один лог кидаются и данные от сквида и ipcad ???

 
да
 
лог сквида:
 
1245245997.087    340 192.168.0.45 TCP_MISS/200 6064 GET http://dg7.odnoklassniki.ru/getImage? - DIRECT/81.177.156.249 image/jpeg
1245245997.162    876 192.168.0.45 TCP_MISS/200 27878 GET http://77.91.228.66/banners/0000617/0000617391/0/wap_728x90.swf - DIRECT/77.91.228.66 application/x-shockwave-flash
1245245997.189    392 192.168.0.45 TCP_MISS/200 5145 GET http://i32.odnoklassniki.ru/getImage? - DIRECT/81.177.140.47 image/jpeg
 
лог ipcad'а:
 
1245249600.000 1 192.168.0.3 TCP_MISS/200 45482 CONNECT 74.125.39.106:0 - DIRECT/74.125.39.106 -
1245249600.000 1 192.168.0.3 TCP_MISS/200 22657 CONNECT 74.125.39.97:443 - DIRECT/74.125.39.97 -
1245249600.000 1 192.168.0.2 TCP_MISS/200 307687 CONNECT 195.42.103.77:65535 - DIRECT/195.42.103.77 -  
1245254401.000 1 192.168.0.3 TCP_MISS/200 27108 CONNECT 94.100.177.6:110 - DIRECT/94.100.177.6 -

Всего записей: 3 | Зарегистр. 17-06-2009 | Отправлено: 14:04 17-06-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
гм, тяжко
есть два кандидата на детектирование
 
1-й 1245249600.000 - время всегда? на .000 заканчивается
2-й 74.125.39.106:0 - в URL нет заголовка
 
добавь строчку
       next if (($Ltimestamp =~ m{\.000$}) && !($Lurl =~ m{://}));
перед
    #skip intranet
в lightparser.pl
 
p.s. гм, а забавно, можно наоборот вести учет оп IPCAD, как я понимаю в нем есть ВСЯ статистика, не только HTTP ?
 
p.p.s. в 1.8  
http://dg7.odnoklassniki.ru/getImage? - DIRECT/81.177.156.249 image/jpeg
http://i32.odnoklassniki.ru/getImage? - DIRECT/81.177.140.47 image/jpeg  
будут собраны в ону запись odnoklassniki.ru
как и vkontakte и другие похожие
 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 11:56 18-06-2009
Varog

Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lightsquid
 

Цитата:
1-й 1245249600.000 - время всегда? на .000 заканчивается

 
Время постоянно на ".000", но его можно поменять на любое другое в крипте который крутит cron (скрипт я брал со статьи "шлюз с системой учета трафика на слабом компьютере" на сайте opennet )
 
Код который Вы написали я добавил в парсер, но лайтсквид вообще перестал перестал считать трафик с айпикада.... Вобщем проглядев весь код парсера да погуглив на тему perl я написал следующее:
 
next if ($Lurl =~ m{/*\.*\.*\.*:0}); (мне нужно было чтоб лайтсквид не считал лог из айпикада где указан порт 0)
 
Теперь все ОК. Считает все окромя дубляжа падающего с айпикада.
 
Огромное спасибо за Вашу помощь! жду нового релиза!

Всего записей: 3 | Зарегистр. 17-06-2009 | Отправлено: 15:21 18-06-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
гм, странно что работает
имхо надо так
next if ($Lurl =~ m{\:0$});  
т.е. скипаем если строка заканчивается на :0

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 12:50 19-06-2009 | Исправлено: lightsquid, 12:50 19-06-2009
Dr_Spectre



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
где можно взять темплейт ric ? в дистрибутиве его не обнаружил

----------
Со всеми регардами - Alexei Dmitriev aka Dr.Spectre
Чтобы добиться успеха в этом мире, одной глупости недостаточно, к ней нужны еще хорошие манеры.
(c) Вольтер

Всего записей: 1554 | Зарегистр. 15-12-2001 | Отправлено: 14:05 22-06-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В старых версия, просто он устарел, и не обновился,  
делал его не я а ric ...

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 15:01 22-06-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Lightsquid 1.8 released ....
 
http://lightsquid.sourceforge.net/
 

 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 02:13 07-07-2009
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lightsquid
То чего так долго ждали... (с) Не мой.
 
Спасибо!

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 10:32 07-07-2009 | Исправлено: Ruza, 10:32 07-07-2009
Dr_Spectre



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Считает все окромя дубляжа падающего с айпикада.
 
Огромное спасибо за Вашу помощь! жду нового релиза!  

 
я чтото пропустил? - что мешает фильром в айпикаде сказать чтобы он не считал трафик на 80 порт ?
тогда и дубляжа не будет.
 

Цитата:
а забавно, можно наоборот вести учет оп IPCAD, как я понимаю в нем есть ВСЯ статистика, не только HTTP ?  

 
да - только будут ip а в сквидовской стате - днс имена
 
Добавлено:

Цитата:
В старых версия, просто он устарел, и не обновился,  
делал его не я а ric ...  

а гденибудь взять сам файл можно? я бы попробовал его поправить.

----------
Со всеми регардами - Alexei Dmitriev aka Dr.Spectre
Чтобы добиться успеха в этом мире, одной глупости недостаточно, к ней нужны еще хорошие манеры.
(c) Вольтер

Всего записей: 1554 | Зарегистр. 15-12-2001 | Отправлено: 11:49 08-07-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
а гденибудь взять сам файл можно? я бы попробовал его поправить.

судя по сайту он был до 1.6
http://lightsquid.sourceforge.net/demo16b-tpl/index.cgi?year=2005&month=04
там и брать

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 13:16 08-07-2009
rijiy2k



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
всем привет
система FreeBSD7
обновил из портов до 1.8, perl-5.8.9_3
и стали недопарсиваться некоторые УРЛЫ
типа  
483 http://bs.yandex.ru/count/C-GUQn5n2-40000ZhTSWgO4M7sL0vi1R5aYYAZZY0AUPPAfZcO3YW6D0f6YRccFamAB0K5v1G00,bs.mail.ru,210713531196947580?870588011 1 477 216 340 320 0.0%  
484 oof.wowizh.ru 1 465 216 340 785 0.0%  
485 81.222.128.112 1 446 216 341 231 0.0%  
486 http://www.google-analytics.com/__utm.gif?utmwv=4.3.1&utmn=562301796&utmhn=razvlekalovka.com&utmcs=windows-1251&utmsr=1280x1024&utmsc=32-bit&utmul=ru&utmje=1&utmfl=10.0%20r22&utmcn=1&utmdt=%D0%93%D0%BE%D0%BB%D1%8B%D0%B5%20%D0%B6%D0%B5%D0%BD%D1%89%D0%B8%D0%BD%D1%8B%20-%20%D0%A4%D0%9E%D0%A2%D0%9E%20-%20%D0%A0%D0%B0%D0%B7%D0%B2%D0%BB%D0%B5%D0%BA%D0%B0%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9%20%D0%BF%D0%BE%D1%80%D1%82%D0%B0%D0%BB&utmhid=978389343&utmr=http://go.mail.ru/search?q=%F4%EE%F2%EE+%E3%EE%EB%FB%F5+%E6%E5%ED%F9%E8%ED&no_morph=n&sf=20&utmp=/girls/photo/func,detail/catid,108/id,3255/&utmac=UA-3416434-1&utmcc=__utma%3D36247843.897631415.1248339413.1248339413.1248339413.1%3B%2B__utmz%3D36247843.1248339416.1.1.utmcsr%3Dgo.mail.ru%7Cutmccn%3D(referral)%7Cutmcmd%3Dreferral%7Cutmcct%3D%2Fsearch%3B 1 421 216 341 652 0.0%  
 
У меня было такое же когда на сайте http://lightsquid.sourceforge.net/ было красным если у вас перл какой-то там, то исправьте парсер так то. Я помню тогда попробовал исправить и стали появляться такие сайты в статистике. Убрал изменения и опять все стало нормально.
Вот и сейчас после обновления стало также опять
 
Ни у кого такого нету?
Чо бы подкрутить?
 
 
 
P.S. отличная программа, давно ее использую. Дописал еще несколько скриптиков типа формаирования файла с группами на основе членства в доменных группах. Или добавление пользователей в группу отключенных если превышен лимит.
Автору 5 баллов!!
Отлично что оживился
Какие впереди доработки?
 
Добавлено:
ну да так и есть
вспомнил как было
 
закомментировал
      #extract site name
        if ($url =~ m/([a-z]+:\/\/)??([a-z0-9\-]+\.){1}(([a-z0-9\-]+\.){0,})([a-z0-9\-]+){1}(:[0-9]+)?\/(.*)/o) {
           $site=$2.$3.$5;
        } #else {
          # $site=$Lurl;
        #}                  
 
и стало все хорошо
 
ну и верно перл то у меня стоит 5.8 =(

Всего записей: 1 | Зарегистр. 18-03-2008 | Отправлено: 19:30 23-07-2009 | Исправлено: rijiy2k, 19:35 23-07-2009
Intakto



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Такая проблема не отображаются группы, хотя все настройки сделаны пишет вот что
"00. вне группы" и все, остальные группы не отображаются (
 
 
7 | 192.168.0.153 | Wi-Fi IP3 | 204 798 854 | 1.9% | ? - вместо группы вопросик  
 
 
 
И еще Graph Report тож не отображается - GD - установлен
 
 
система Gentoo

Всего записей: 338 | Зарегистр. 03-02-2005 | Отправлено: 14:21 28-08-2009 | Исправлено: Intakto, 14:49 28-08-2009
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Такая проблема не отображаются группы, хотя все настройки сделаны пишет вот что  
"00. вне группы" и все, остальные группы не отображаются (  
 
И еще Graph Report тож не отображается - GD - установлен  
 
 
система Gentoo

 
проверяйте формат файла групп
приведите тут примеры
 
стоит ли perl-gd
 
что говорит check-setup.pl
 
какая версия lsq ?

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 14:46 28-08-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » LightSquid


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru