Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Активные темы » LightSquid

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Открыть новую тему     Написать ответ в эту тему

ginger



Рыжик
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

LightSquid - lite and fast log analizer for squid proxy

Текущая версия 1.8 Изменения  
Домашняя страница автор Сергей Ерохин (Sergey Erokhin).
 
LightSquid маленькая и быстрая программка сбора статистики работы пользователей через прокси-сервер Squid, является альтернативой SARG, представляет собой набор из нескольких скриптов написанных на языке программирования perl.
 
Требования:
 
Apache
Perl
Perl-GD2 (если необходимы графики)
Squid
Cron
 
Установка.

Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 11:18 01-02-2006 | Исправлено: zhe_zho, 18:28 27-01-2014
dzzzr2007

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
набираю  
 
locate squid.conf
 
выдается только  
 
/usr/local/etc/apache2/Includes/lightsquid.conf
 
а вот его содержание:
 
    Alias /lsquid "/usr/local/www/lightsquid"
 
    <Directory "/usr/local/www/lightsquid">
    AddHandler cgi-script .cgi
    AllowOverride All
    Order Deny,Allow
        Deny from all
        Allow from 127.0.0.1
        Allow from 192.168.0.0/24
    </Directory>
 
Вот че-то нету тут забаненых сайтов =(

Всего записей: 93 | Зарегистр. 11-03-2008 | Отправлено: 12:45 26-06-2008
Loafer



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
гм, а причем тут структура директории report к апачу и доступу  

я понимаю, но "хочелка" ограничить по пользовательскому ip видеть статистику  приведёт к необходимости писать скриптец и травить его apache для того чтобы пользователь видел со своего ip только свою стастику - ну в общем уже не суть важно, скрипт есть http://silverghost.org.ua/2007/03/04/lightsquid-i-statistika-polzovateley/  
а я мог и ошибаться, что это сложно  
 
mscorp
возможности выбора на любой период сохраняются ?

----------
Никнейм зарегистрирован

Всего записей: 6459 | Зарегистр. 09-12-2001 | Отправлено: 20:45 26-06-2008
mscorp



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Loafer
 
да, по приведенному скрипту появляется форма выбора просмотра посещенных сайтов за определенную дату. Немного доработав уже получаю статистику по трафику за текущий месяц, в планах добавление календаря, для просмотра более ранней статистики.
Также можно выбрать любой период просто вдолбив его в строку адреса (url).

Всего записей: 21 | Зарегистр. 23-10-2004 | Отправлено: 06:32 30-06-2008
Craager



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Здравствуйте ! Подскажите коллеги каким образом можно реализовать просмотр статистики пользователя по его предварительной авторизации через форму с запросом ввода имени и пароля.С написанием скриптов туго Спасибо!

Всего записей: 385 | Зарегистр. 08-06-2006 | Отправлено: 10:09 08-07-2008
calipso88

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Господа, вообще не але в lightsquid и unix-системах, вообщем есть все доступы к этой игрушке, где мне можно почистить свою статистику? где хранятся логи? как уменишь размер скачиваемого мной инет-трафика? Как потереть скачиваемые мной файлы? Огромная просьба обьяснить, как "для ламера", просто сам чисто виндовый администратор. Заранее очень благодарен.

Всего записей: 1 | Зарегистр. 28-07-2008 | Отправлено: 23:41 28-07-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Господа, вообще не але в lightsquid и unix-системах, вообщем есть все доступы к этой игрушке, где мне можно почистить свою статистику? где хранятся логи? как уменишь размер скачиваемого мной инет-трафика? Как потереть скачиваемые мной файлы? Огромная просьба обьяснить, как "для ламера", просто сам чисто виндовый администратор. Заранее очень благодарен.

 
вопрос не понят, повторите
разбейте на пункты
переформулируйте

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 11:55 29-07-2008 | Исправлено: lightsquid, 11:57 29-07-2008
shrub

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добрый день.
Поставил недавно сабж, оказалось, что парсер не воспринимал параметры today и yesterday.
При более детальном просмотре кода, выяснилось, что с момента написания скрипта разрядность количества секунд увеличилась.
 

Код:
 
--- ./lightparser.pl    2007-01-10 15:06:49.000000000 +0500
+++ ./lightparser2.pl    2008-08-08 16:10:16.000000000 +0600
@@ -120,7 +120,8 @@
        # timestamp    elapsed host        type         size method url                                                  user  hierarechy                    type
 
        #speed optimization for FILTERDATE mode
-       $Ltimestamp=substr $_,0,10;
+       m/(\d+)\.(.*)/;
+       $Ltimestamp = $1;
        if ($Ltimestamp<$filterdatestart or $Ltimestamp>$filterdatestop) {
           print ">>>> skipDafteFilter URL $Lurl\n$_" if ($debug2 >= 2 );
           $skipfilterdatecntr++;
 

 
P.S: я не пишу на perl, возможно есть более элегантное решение

Всего записей: 1 | Зарегистр. 08-08-2008 | Отправлено: 14:43 08-08-2008
worm1982

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добрый день.
Есть такой вопрос. Планируется ли написание к Lightsquid-у Web интерфейса для добавления/удаления пользователей. По моему очень удобная вещь была бы.

Всего записей: 1 | Зарегистр. 14-05-2007 | Отправлено: 10:27 18-08-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Добрый день.
Есть такой вопрос. Планируется ли написание к Lightsquid-у Web интерфейса для добавления/удаления пользователей. По моему очень удобная вещь была бы.

 
Привет !
нет конечно, это не имеет отношения к анализу лога ...
это уже будет комбайн, а комбайны это плохо
и не универсально ...
 
"есть более другие средства"  
 
http://stc.nixdev.org/

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 12:26 18-08-2008
Dr_Spectre



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Чтото не пойму в чем дело - вроде бы и работает но трафика в отчете очень мало. Включил дебаг -  
55610 lines processed
1320 lines parsed
2133 lines recovered
53477 lines notrecovered
то есть получается он из 55 тысяч взял статистику только с 1320 или 1320+2133 линий ? в чем могут быть проблемы с остальными?
lightsquid 1.7.1 squid 2.6.stable6 - linux


----------
Со всеми регардами - Alexei Dmitriev aka Dr.Spectre
Чтобы добиться успеха в этом мире, одной глупости недостаточно, к ней нужны еще хорошие манеры.
(c) Вольтер

Всего записей: 1554 | Зарегистр. 15-12-2001 | Отправлено: 17:52 01-09-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Чтото не пойму в чем дело - вроде бы и работает но трафика в отчете очень мало. Включил дебаг -  
55610 lines processed
1320 lines parsed
2133 lines recovered
53477 lines notrecovered
то есть получается он из 55 тысяч взял статистику только с 1320 или 1320+2133 линий ? в чем могут быть проблемы с остальными?
lightsquid 1.7.1 squid 2.6.stable6 - linux  

 
проверьте формат лога в котором выводит сквид и какой указан в лайтсквиде
я бы рекомендовал использовать стандартный лог сквида а не кастом

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 15:50 02-09-2008
Dr_Spectre



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
проверьте формат лога в котором выводит сквид и какой указан в лайтсквиде
я бы рекомендовал использовать стандартный лог сквида а не кастом

лог стандартный - squid 2.6stable5 linux
и фишка в том что sarg этот лог берет правильно а lighsquid - нет. В lightsquid стоит формат лога 0

----------
Со всеми регардами - Alexei Dmitriev aka Dr.Spectre
Чтобы добиться успеха в этом мире, одной глупости недостаточно, к ней нужны еще хорошие манеры.
(c) Вольтер

Всего записей: 1554 | Зарегистр. 15-12-2001 | Отправлено: 11:11 04-09-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
лог стандартный - squid 2.6stable5 linux  
и фишка в том что sarg этот лог берет правильно а lighsquid - нет. В lightsquid стоит формат лога 0
 
Лог в студию или на мыло

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 17:28 04-09-2008
Henkel255

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hi all!
 
В сквиде одновременно работает два типа авторизации IP+MAC и NCSA
 
куски конфига
 

Код:
 
auth_param basic program /usr/lib/squid/ncsa_auth /etc/squid/internet_users
auth_param basic children 5
auth_param basic realm Please enter your login and password
auth_param basic credentialsttl 2 hours
auth_param basic casesensitive off
 

 

Код:
 
# MY ACL RULES
acl DARIM proxy_auth REQUIRED
acl office src 192.168.1.0/255.255.255.0
 
acl kotovich        src 192.157.1.33/32
acl kotovich_arp     arp 00:11:d8:28:74:5b
 
acl server2003         src 192.168.1.30/32
acl server2003_arp    arp 00:0d:61:0a:5c:f8  
 
acl sysadmin        src 192.168.1.27/32
acl sysadmin_arp    arp 00:1d:7d:94:b7:17  
 

 

Код:
 
# Сначала даём инет по IP+MAC
http_access allow kotovich kotovich_arp
http_access allow server2003 server2003_arp
#http_access allow sysadmin sysadmin_arp
 
# Потом в офис, но уже по паролю
http_access allow DARIM office
 

 
Всё отлично работает, но Lightsquid считает трафик только пользователей авторизованых по IP+MAC
 
полный конфиг сквида http://pastebin.ca/1194458
конфиг Lightsquid http://pastebin.ca/1194461
 
Добавлено:
Вопрос уже, решил, первоначально не обратил внимание, т.к. тестил с одного компа что статистику собирает по пользователю тоже, только включает в общую статистику с IP пользователя

Всего записей: 8 | Зарегистр. 26-03-2008 | Отправлено: 09:06 05-09-2008
Dr_Spectre



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Чтото не пойму в чем дело - вроде бы и работает но трафика в отчете очень мало. Включил дебаг -  
55610 lines processed
1320 lines parsed
2133 lines recovered
53477 lines notrecovered
то есть получается он из 55 тысяч взял статистику только с 1320 или 1320+2133 линий ? в чем могут быть проблемы с остальными?
lightsquid 1.7.1 squid 2.6.stable6 - linux  

 
Проблема решена - дело было в включенном  
log_mime_hdrs on в сквиде. Хотя sarg хавал логи и с этой опцией
 
И все равно остается непонятным - из 300 тысяч записей 157 тысяч - not recovered - это значит что он их не считает?

----------
Со всеми регардами - Alexei Dmitriev aka Dr.Spectre
Чтобы добиться успеха в этом мире, одной глупости недостаточно, к ней нужны еще хорошие манеры.
(c) Вольтер

Всего записей: 1554 | Зарегистр. 15-12-2001 | Отправлено: 11:23 12-09-2008 | Исправлено: Dr_Spectre, 11:25 12-09-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
версия сквида ?
 

Цитата:
Проблема решена - дело было в включенном  
log_mime_hdrs on в сквиде. Хотя sarg хавал логи и с этой опцией  

 
Можна пример лога ? lightsquidсамизнаетечтоgmailточкаcom
 
 

Цитата:
И все равно остается непонятным - из 300 тысяч записей 157 тысяч - not recovered - это значит что он их не считает?

 
т.е. сейчас 300 тыщ он парсит и 157 тыщ не рековерит ?
 
секорее всего формат лога нестандартный
"рековери" механизм запускается когда кол-во столбцов в файле больше чем стандартное, обычно это случай когда в URL попали пробелы, и он их пытается вылечить.
 
в вашем случае из уж слишком много, что на мой взгляд говорит о неправильно/не стандартном формате лога ...
 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 16:11 12-09-2008 | Исправлено: lightsquid, 18:55 12-09-2008
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lightsquid
Как убрать вот такую надпись:

Цитата:
Внимание!!!, я рекомендую установить $graphmaxall=0.10*(1024*1024*1024);

При этом в lightsquid.cfg установлено именно: $graphmaxall =0.10*(1024*1024*1024);

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 12:36 24-09-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
При этом в lightsquid.cfg установлено именно: $graphmaxall =0.10*(1024*1024*1024);

Ну поставьте чуть больше 0.20  
 
Собственно эт он говорить что много данных вышли за пределы
подберите значение чтобы данные влазили с запасом
чуть выше красной линии ...
 
 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 16:57 24-09-2008
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lightsquid

Цитата:
Собственно эт он говорить что много данных вышли за пределы  

О! Спсибо. Не разобрался в предупреждении.

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 12:53 25-09-2008
jeantr1

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите пожалуйста, как воспользоваться этой возможностью и исключить из статистики конкретный IP?
 
#if you want skip some ip from log - return "SKIP THIS IP"  
#detail see in ip2name folder,  
 
$ip2name="simple";  

Всего записей: 1 | Зарегистр. 29-09-2008 | Отправлено: 14:06 29-09-2008
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Активные темы » LightSquid


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru