Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Активные темы » LightSquid

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Открыть новую тему     Написать ответ в эту тему

ginger



Рыжик
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

LightSquid - lite and fast log analizer for squid proxy

Текущая версия 1.8 Изменения  
Домашняя страница автор Сергей Ерохин (Sergey Erokhin).
 
LightSquid маленькая и быстрая программка сбора статистики работы пользователей через прокси-сервер Squid, является альтернативой SARG, представляет собой набор из нескольких скриптов написанных на языке программирования perl.
 
Требования:
 
Apache
Perl
Perl-GD2 (если необходимы графики)
Squid
Cron
 
Установка.

Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 11:18 01-02-2006 | Исправлено: zhe_zho, 18:28 27-01-2014
Gremlin19



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lightsquid, благодарю на столь удобную программу.  
 
как пожелание хотелось бы видеть в поле "Real Name" имя взятое из Active directory если настроена доменная авторизация.  
А может уже есть такая фича? Где про неё почитать и настроить?

Всего записей: 125 | Зарегистр. 06-03-2006 | Отправлено: 18:01 09-03-2011
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо
 
смотреть в сторону ip2name, он для этого и сделан

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 14:50 10-03-2011
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
собственно по теме длинных ссылок
по непонятной причине в лог попадает часть URL после символа ?, которая должна обрезаться  
на а дальше по цепочке сносит крышу сокращалке url
 
грязный фикс, будем это резать сами ...
 
в lightparser.pl
 
    next if (defined $hSkipUser{$user});
 
++    $qqpos=index($Lurl,'?');
++    $Lurl=substr($Lurl,0,$qqpos+1) if $qqpos>0;
 
    #simplified some common banner system & counters
    $url=$Lurl;

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 17:25 14-03-2011
St0ne99

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Упс!! Проверим!! Давно ждал решения этой проблемы
 
P.S. Сергей, еще раз СПАСИБО ВАМ за ваш труд!
Не знаю как вас отблагодарить. Можно вам как-нибудь с ЗП проставиться на пиво чтоли?
У вас есть Paypal?  
2. Я тут base template перерисовал (почти закончил)  
Могу позже выложить. Возможно людям понравится..

Всего записей: 3 | Зарегистр. 31-08-2010 | Отправлено: 06:29 15-03-2011
AnatAnna

Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Сергей, спасибо большое за фикс.
Теперь статистика выглядит как и ожидалось.
Никаких жутких скроллов и безумных ссылок.  

Всего записей: 6 | Зарегистр. 15-12-2007 | Отправлено: 00:55 16-03-2011
bran111

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Доброго времени суток.
Настроены группы
01  Имя_отдела1
02  Имя_отдела2
 
Подскажите как получить отчет по конкретному отделу в отдельном файле? В стандартном group_detail.cgi все группы вываливаются на одной странице.

Всего записей: 1 | Зарегистр. 31-03-2011 | Отправлено: 14:48 31-03-2011
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
St0ne99
paypal нету, т.к. они не дают входящих аккаунтов для Украины, только платить.
а тему - шлите на мыло !!!
 
p.s. может как-то сделаю wishlist и буду брать благодарности "борзыми щенками"
 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 19:34 16-04-2011
Dr_Spectre



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
грязный фикс, будем это резать сами ...
 
в lightparser.pl
 
    next if (defined $hSkipUser{$user});  

у меня нет такой строки-версия 1.8


----------
Со всеми регардами - Alexei Dmitriev aka Dr.Spectre
Чтобы добиться успеха в этом мире, одной глупости недостаточно, к ней нужны еще хорошие манеры.
(c) Вольтер

Всего записей: 1554 | Зарегистр. 15-12-2001 | Отправлено: 15:01 20-04-2011
Lennonenko

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ничего в перле не понимаю, поэтому спрошу: как сделать, чтобы ip2name.smb при парсинге логов собирал кэшировал куда-нибудь ответы nmblookup, хотя бы в тот же realname.cfg?
днём он сеть просматривает, всем нормальные имена выставляет, вечером все уходят и имена затираются айпишниками, а на следующий день им новые адреса DHCP выдаёт
 
попробовал использовать скриптик для dhcp.leases, который откопал где-то в начале обсуждения, но он корёжит отчёты вот так

Код:
 
№     Время     Пользователь     Ф.И.О     Соединений     Байт     %     Группа
1     [Graph Report]     Matveychuk-a-v     ?     12 127     490.2 M     26.0%     ?
2     [Graph Report]     Duhnich     ?     10 083     443.7 M     23.5%     ?
3     [Graph Report]         ?             0.0%     ?
4     [Graph Report]     starts     ?     2 011/05/06     5     0.0%     ?
5     [Graph Report]     ends     ?     2 011/05/07     6     0.0%     ?
6     [Graph Report]     hardware     ?     10:9a:dd:b4:0c:f5;     ethernet     0.0%     ?
7     [Graph Report]     uid     ?         01:10:9a:dd:b4:0c:f5;     0.0%     ?
8     [Graph Report]     366544876     ?     209 786     4 428     0.0%     ?
9     [Graph Report]     Shogenova-e-a     ?     9 990     135.6 M     7.1%     ?
10     [Graph Report]     N-ivankova     ?     3 033     90.9 M     4.8%     ?
 

скрипт такой

Код:
 
# cat ip2name.dhcp
#use /var/db/dhcpd/dhcpd.leases
#look like
#lease 192.168.0.85 {
#  starts 3 2007/11/07 01:56:06;
#  ends 3 2007/11/14 01:56:06;
#  binding state active;
#  next binding state free;
#  hardware ethernet 00:15:f2:e0:69:4d;
#  uid "\001\000\025\362\340iM";
#  client-hostname "Sasha";
#}
 
use Socket;
 
sub StartIp2Name() {
    my $body = Readdhcpd_leases();
     while ($body =~ m/\nlease (.*?)\s?\{(.*?)\}/sig) {
        my $ip = $1;
        my $tmp = $2;
        $tmp =~ m/\n(.*)?hostname\s"(.*)?"/;
        my $host = $2;
        $host = "\u\L$host";
        $hIP{$ip} = $host;
    }
}
 
sub Ip2Name($$$) {
    #$Lhost,$user,$Ltimestamp
    if (exists($hIP{$Lhost})) {
        $Lhost = $hIP{$Lhost};
    }
    return $Lhost;
}
 
sub StopIp2Name() {
}
 
sub Readdhcpd_leases() {
    local $/;
    my $file;
    open FFAAAA,"<","/var/db/dhcpd.leases";
    $file=<FFAAAA>;
    close FFAAAA;
    return $file;
}
#warning !!!!
1;
 

Всего записей: 41 | Зарегистр. 12-04-2006 | Отправлено: 15:56 06-05-2011
gloomymen

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
день добрый
в отчете стали появлятся строки вида
http://clck.yandex.ru/jclck/dtype=stred/pid=197/cid=2194/path=open-player.serp/reqid=1306817198548260-1668051818762705024770470-4-021-V/rnd=1306817218706/*data=url%3Dhttp%253A%252F%252Fvideo.mail.ru%252Fmail%252Feseniya-lada%252F1468%252F882.html
http://img.mail.ru/mail/ru/images/ru/ico_from/12myadmin@corp.mail.ru.png
http://bs.mail.ru/count/108pZT9La4K40n00Zh4NwAO4M7sL0vi1R5aYYAZZY0AIgOvc0ue1aRpGIMG6auKDYm51VmG0,bs.mail.ru,6938016481306394823?
http://bs.yandex.ru/count/108pZT9La4K40X00Zh4NwAO4M7sL0vi1R5aYYAZZY0AIgOvc0ue1aRpGIMG6auKDYm51VmG0,bs.mail.ru?
 
т.к. мои знания perl полностью исчерпываются единственной строкой #!/usr/bin/perl, то сначала попытался связаться с автором по адресу указанному в контакте проекта. не получилось.
осознав истину о спасении утопающих, пошарил в гугле, наткнулся на этот топик - пост AnatAnna, похоже, но не мой случай, т.к. '?' присутствует только в конце строк, либо совсем нет
 
немного почитал о регулярных выражениях, пришел к выводу, что часть шаблона агрегатора

Код:
$url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o;

а конкретно .*, заставляет перл в имени хоста (ведь нам нужна именно эта часть урла) считать допустимой всю таблицу менделеева, а это неправильно
предваряя замечания грамотных товарищей, повторюсь что перл не знаю абсолютно, немного изменил шаблон

Код:
$url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru\/)/$1$2/o;

или так

Код:
$url =~ s/([a-z]+:\/\/)??[^\/]*\.(mail\.ru)/$1$2/o;

в обоих случаях результат положительный, вся ненужная красота из отчетов пропала, второй вариант мне кажется идеологически более верным, строку www. из шаблона удалил, чтобы статистика аккумулировалась не в два адреса "www.mail.ru" и "mail.ru", а в один
кстати, для AnatAnna мой вариант тоже подойдет,  без грязного фикса
 
lightsquid
Сергей, хочу поблагодарить за замечательную программу, просто и со вкусом
1. большая просьба прокомментировать мои изменения
2. как с вами связаться? есть пара мыслей по оптимизации быстродействия парсера

Всего записей: 105 | Зарегистр. 01-06-2011 | Отправлено: 19:02 01-06-2011
Noder



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Приветствую, народ подскажите что за цифры отображаются в почасовом отчете за день?
http://s06.radikal.ru/i179/1106/8f/22e025cacd0a.jpg
Перебрал все варианты, думаю может это вместо графика такое отображение, может я чего то не настроил или это такая фишка? тогда что означают эти цифры ...

Всего записей: 16 | Зарегистр. 24-11-2005 | Отправлено: 16:38 22-06-2011
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Noder
Логично предположить что это количество мегабайт по часам:
0.8 + 0.5 + 0.2 + 0.4 + 0.1 + 0.3 + 0.2 = 2.5
 
Не?

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 16:45 22-06-2011
Noder



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
черт, а ведь логично , сбил с толку формат "мегабайт по часам" , а суммировать не догадался, спасибо

Всего записей: 16 | Зарегистр. 24-11-2005 | Отправлено: 16:56 22-06-2011
Loafer



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lightsquid
Поддержку кириллицы в названиях доменов планируется вводить?  
(пока её нет, если я ничего не упустил)

----------
Никнейм зарегистрирован

Всего записей: 6440 | Зарегистр. 09-12-2001 | Отправлено: 16:47 08-08-2011
AxelS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
.

Всего записей: 3 | Зарегистр. 13-11-2006 | Отправлено: 13:21 19-08-2011 | Исправлено: AxelS, 07:27 22-08-2011
Serkotc

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
2lightsquid:
Скажите пожалуйста, появилась ли возможность смотреть персональную статистику, т.е. пользователь после авторизации может смотреть только свою статистику?

Всего записей: 3 | Зарегистр. 20-09-2011 | Отправлено: 16:35 20-09-2011
f0rt



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lightsquid
поставил из официальных реп дебиана (testing) lightsquid_1.8-2_all.deb
мантейнер указан TANIGUCHI Takaki <takaki@debian.org>
в /etc/cron.d/lightsquid прописано  
0 4     * * *   root    [ -x /usr/share/lightsquid/lightparse.pl ] && /usr/bin/lightparse.pl
 
и естественно не работает. ибо нет таких файлов.


----------
все перепутал правильно

Всего записей: 609 | Зарегистр. 17-04-2002 | Отправлено: 04:50 17-11-2011
Serkotc

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
И, естественно, и не будет работать. lightparser.pl - правильное название исполняемого файла.

Всего записей: 3 | Зарегистр. 20-09-2011 | Отправлено: 16:26 17-11-2011
ginnic



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Сергей не могу найти как реализовать статистику по доменам, чтобы обрезалось до домена 2-го уровня.  
Например:
 
Вместо отдельной статистики по:  
www.mail.ru  
img.mail.ru  
mail.ru
 
Сводная:  
mail.ru  
 
Выше уже писали об этом, было сказано что данная функция появится в следующем релизе.
Эта функция уже появилась?
Если появилась, то как ее реализовать?

Всего записей: 167 | Зарегистр. 24-09-2001 | Отправлено: 07:30 23-12-2011 | Исправлено: ginnic, 07:34 23-12-2011
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Она там ДАВНО есть
 
открываете lightparser.pl
 
ищем
    #simplified some common banner system & counters
    $url=$Lurl;
    $url =~ s/([a-z]+:\/\/)??.*\.(spylog\.com)/$1www.$2/o;
    $url =~ s/([a-z]+:\/\/)??.*\.(yimg\.com)/$1www.$2/o;
 
по аналогии добавляем нужное
 
    $url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o;
 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 13:46 27-12-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Активные темы » LightSquid


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru