Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Активные темы » LightSquid

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Открыть новую тему     Написать ответ в эту тему

ginger



Рыжик
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

LightSquid - lite and fast log analizer for squid proxy

Текущая версия 1.8 Изменения  
Домашняя страница автор Сергей Ерохин (Sergey Erokhin).
 
LightSquid маленькая и быстрая программка сбора статистики работы пользователей через прокси-сервер Squid, является альтернативой SARG, представляет собой набор из нескольких скриптов написанных на языке программирования perl.
 
Требования:
 
Apache
Perl
Perl-GD2 (если необходимы графики)
Squid
Cron
 
Установка.

Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 11:18 01-02-2006 | Исправлено: zhe_zho, 18:28 27-01-2014
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Demonster1
А фигли оно тут описано в теме... Но соберу в одно что то
 
Создаём 2 файла
limit и blocked_users
 
Права на файлы
первый чтение второй надо и на запись
 
В limit пишем список пользователей с лимитм (в байтах!!!) типа:
user 512000000
 
В squid.conf добавляем пару строк такого плана:
acl limit proxy_auth -i "/где он там лежит/blocked_users"
http_access deny limit
 
Скрипт:
создаём файл blabla.pl  
Первой строкой делаем:
#!/usr/bin/perl (или где он там у вас лежит)
и вставляем туда тело скрипта из этого сообщения:
http://forum.ru-board.com/topic.cgi?forum=8&topic=13976&start=40#11
ПУТИ В СКРИПТЕ ПРАВИМ НА СВОИ!!!
Разрешаем права на запуск данного файла.
 
B cron добавляем:
0  */1 * * * user /где он находится/blabla.pl
user - Должен иметь права на запуск самого blabla.pl а также на чтение limit и права на запись blocked_users.
 
Копирайты, лефты и благодарности:
w3d, lightsquid, squid developers
Вроде всё...
 
lightsquid

Цитата:
wget "http://localhost/lightsquid/month_detail.cgi?year=2008&month=02&tpl=blablalbla"  

Пипец... А ларчик просто открывался... Но мы не ищем лёгких путей...
Мля пора в отпуск...

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 07:25 29-02-2008 | Исправлено: Ruza, 07:32 29-02-2008
Demonster1

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ruza Спасибо за систематизацию, работает!
 
Как теперь юзеру сообщить, что его не пускают из-за превышения лимита, а не просто так?

Всего записей: 70 | Зарегистр. 15-09-2006 | Отправлено: 13:13 29-02-2008
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Demonster1
Да вот блин сам думаю... Походу сделаю страницу расхода за месяц. Т.к. юзерам запретили показывать общую статистику. Юзеры предупреждены о расходе...
Хотя надо покопаться в сквиде и сделать редирект на какуюто ошибку, но жаль нет времени.

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 18:33 29-02-2008
w3d

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да просто откорректируйте страницу в сквиде и поставьте режик - и там тоже настройте страницы сообщений

Всего записей: 68 | Зарегистр. 07-08-2003 | Отправлено: 21:52 29-02-2008
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
w3d
Страницу откорректировать проще всего, уже думал над этим, но при таких раскладах страница будет отображаться и для пользователя не угадавшего пароль...
 
А вот про режик если можно подробнее про условие редиректа...

----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 06:55 01-03-2008
rg2570

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
2Ruza, w3d, lightsquid and other...: ребят, помогите, LightSquid уже месяц работает в связке со  squid'ом (авторизация на сквиде по доменным аккаунтам, т.е. squid+samba+heimdall) ... все работает без нареканий, логи показываются, инет кэшируется и т.д. ... решил тут ввести ограничение на юзеров(пользовался схемой которую описал Ruza) ... в итоге-у меня ВСЕ пользователи независимо, от лимита попадают в blocked_users... + не могу разобраться с ACL в squid.conf... конфиг сквида, касаемо ACL примерно такой:
 
"
....
acl inet_users proxy_auth REQUIRED
acl limit proxy_auth -i "/usr/local/squid/blocked_users"
acl manager proto cache_object
acl localhost src 127.0.0.1/255.255.255.255
acl all src 0.0.0.0/0.0.0.0
http_access deny limit
http_access allow inet_users
http_access     allow   manager         localhost
http_access     deny    manager
http_access deny all
....
"
подскажите, плиз, куда смотреть???
 
Добавлено:
так с ACL вроде разобрался .... (вся связка плохо дружит с аккаунтами, состоящих из русских символов)... а вот перловый скрипт так и не хочет нормально работать -(((

Всего записей: 24 | Зарегистр. 11-12-2007 | Отправлено: 14:15 14-03-2008
Ruza



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
rg2570
Я издали вижу пока 2 варианта:
1. Скрипт не вычитывает файл лимитов.
2. В файле лимитов имена юзеров отличные от лога сквида возможно кодировка.
Решения...
1. Проверить права на чтение файла.
2. Скопировать файл blocked_users в limit и дописать в каждой строке свой лимит.


----------
Fools rush in where angels fear to tread.

Всего записей: 5472 | Зарегистр. 10-09-2003 | Отправлено: 16:16 14-03-2008 | Исправлено: Ruza, 16:21 14-03-2008
rg2570

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
уфф все заработало .... единственный вопрос: скрипт каждый месяц автоматически обнулирует список заблокированных пользователей??? .... и можно поподробнее : "как все-таки правильнее выдавать пользователем информации об их блокировании ??? " ... кто настроил режик-поделитесь мнениями

Всего записей: 24 | Зарегистр. 11-12-2007 | Отправлено: 11:28 17-03-2008
matrich

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
У меня авторизация в сквиде по имени:
 
В lightsquid.cfg:
$userealname         = 1;
 
В realname.cfg:  
test   TEST
admin   ADMIN
test2   TEST2
 
И все равно в статистике  показываются вопросы вместо realname. Где еще смотреть?

Всего записей: 6 | Зарегистр. 06-02-2008 | Отправлено: 16:09 03-04-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
У меня авторизация в сквиде по имени:
 
В lightsquid.cfg:
$userealname         = 1;
 
В realname.cfg:  
test   TEST
admin   ADMIN
test2   TEST2
 
И все равно в статистике  показываются вопросы вместо realname. Где еще смотреть?

 
для начала уточним пару основопологающих при репорте ошибке вещей
 
1) версия программы
 
2) окуружение
ОС/ Версия etc etc etc

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 13:15 04-04-2008
matrich

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
все решилось
почему-то отсутствовала переменная cfgpath

Всего записей: 6 | Зарегистр. 06-02-2008 | Отправлено: 15:51 04-04-2008
Thomas78



Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
[deleted]

Всего записей: 578 | Зарегистр. 07-02-2002 | Отправлено: 16:38 07-04-2008 | Исправлено: Thomas78, 16:48 07-04-2008
matrich

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
как ограничить доступ к статистике по IP?
 достаточно ли в htaccess?
Options FollowSymLinks ExecCGI
Deny from all
DirectoryIndex index.cgi
Allow from 192.168.111.249
Allow from 192.168.111.217
Allow from 192.168.111.117
 
в данной конфигурации почему то не попоскает 249ый IP. Подскажите в чем проблема.
 
 
Добавлено:
Deny all на строчку ниже только

Всего записей: 6 | Зарегистр. 06-02-2008 | Отправлено: 18:19 09-04-2008
matrich

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
дело в том, что у 249 го IP прописано два IP в настройках сети 192.168.111.253 и 192.168.1.253. Но я добавлял в htaccess оба айпи, и все равно не пускает в статистику. Добавляю любой другой айпи, все нормально. В чем хитрость?
 
Добавлено:
Следует читать:
192.168.111.253=192.168.111.249
192.168.1.253=192.168.1.249

Всего записей: 6 | Зарегистр. 06-02-2008 | Отправлено: 10:49 10-04-2008
turbina2261

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Кто подскажет, все работает, рисует, кроме отчета кто скачал большие файлы вот конфиг:

Код:
 
#!/usr/bin/perl
#
# LightSquid Project (c) 2004-2005 Sergey Erokhin aka ESL
#
# This program is free software; you can redistribute it and/or
# modify it under the terms of the GNU General Public License
# as published by the Free Software Foundation; either version 2
# of the License, or (at your option) any later version.
#
# detail see in gnugpl.txt
 
# -------------------- GLOBAL VARIABLES  ---------------------------
 
#path to additional `cfg` files
$cfgpath             ="/usr/local/etc/lightsquid";
#path to `tpl` folder
$tplpath             ="/usr/local/www/lightsquid/tpl";
#path to `lang` folder
$langpath            ="/usr/local/share/lightsquid/lang";
#path to `report` folder
$reportpath          ="/usr/local/www/lightsquid/report";
#path to access.log
$logpath             ="/usr/local/squid/logs/";
#path to `ip2name` folder
$ip2namepath         ="/usr/local/libexec/lightsquid";
 
#path to `lockfile`
$lockpath            =$reportpath;
 
#if lockfile older $maxlocktime second, remove old lock file.
$maxlocktime         = 30*60;
 
#if 1 - lightparser generate some statistic
$debug               = 0;  
#if 1 - lightparser generate skip details, 2 ..., 3 ..., ....
$debug2              = 0;
 
# -------------------- LightParser VARIABLES  ---------------------------
#squid log type
#if native squid format (default squid, see in doc) - must be 0
#if EmulateHttpdLog ON - set 1
#digit - for speed optimization
#try it set to 1 if parser generate warning
#
#see also month2dec below !!!!
#
$squidlogtype        = 0;
 
#if you want skip some sites from stat, example our local www server
#WARNING !!!, don't leave this variable empty !!!
#example, if you want skip LOCAL site, put it here
#$skipurl             = "zdd.com|192\.168\.1\.|cnn.com";
$skipurl             = "zzz\.zzz";
 
#define sobroutine file for convertion from IP into name
#if you want skip some ip from log - return "SKIP THIS IP"
#detail see in ip2name folder,  
 
$ip2name="simple";
 
#use for convert from Text to Dec convertion if EmualteHttpdLog format !!!!
#fix it if need  
%month2dec = ( Jan => 1, Feb => 2, Mar => 3, Apr => 4, May => 5,Jun => 6,
               Jul => 7, Aug => 8, Sep => 9, Oct => 10, Nov => 11,Dec => 12);
 
# -------------------- Common (Parser & Web) VARIABLES  ----------------------
#create & use time report statistic (logsize = logsize*2) )
$timereport          = 1;
 
# -------------------- WEB VARIABLES  ----------------------------------------
 
#language
#see `lang` folder (avaible: bg,eng,fr,hu,it,pt_br,ru,sp)
$lang                ="ru";
 
#html template name
#see template folder `tpl/$templatename/`
$templatename        ="base";
#$templatename        ="ric";
#$templatename        ="base.css";
 
#define type of decimal output
#fine  123456789 -> 123,456,789
#class 123456789 ->       117.7 G
$DecOutType="class";
 
# define delimiter for thousands (in `fine` mode)
# = " " -> 12 345 678  
# = "," -> 12,345,678
# = ""  ->   12345678
$decdelimiter        = " ";
 
#if you dont need Group mode, do =0
$showgrouplink         = 1;
 
#if not zero, groups look like "01. Group1", if zero - "Group1"
$showgroupid         = 1;
 
#if you dont need oversize report , do =0
$showoversizelink    = 1;
 
#show how many data user send to internet
$showputpost         = 0;
#if putpost higer this variable (in percent), highlight it
$putpostwarninglevel =15;
 
#use or not .realname files  
#.realname contain pair userid -> Full User Name
$userealname         = 1;
 
#if url size exceed $bigfilelimit - add this file into report
$bigfilelimit        = 200*1024*1024;  
 
#user maximum size per day limit (oversize)
$perusertrafficlimit = 100*1024*1024;
 
# weekend display mode
# both - select sunday & monday
# monday - only monday  
$weekendmode="both";
 
#how many site show in TopSites report
$topsiteslimit       = 500;
 
#how many site show in user time report
$usertimelimit       = 200;
 
 
#if you want user traffic GRAPHIC report, set it in 1
#WARNING !!!, need libgd, GD.PM & other external modules !!!
#please run check-setup.pl for check library !!!!
$graphreport         = 1;
 
#higest value on graph report
# for user month report (0.05*(...) = 50mb)
$graphmaxuser=0.05*(1024*1024*1024);
# for all user month report (1.05*(...) = 1 Gb)
$graphmaxall =0.80*(1024*1024*1024);
 
#color scheme for GRAPHICs, avaible "orange","blue","green","yellow","brown","red"
$barcolor="orange";  
 
 
#-------------------------------------------------------------------------- Group support
#
 
sub CreateGroupFile($) {
  my $path=shift;
 
  open Fi,"<$cfgpath/group.cfg";
  open Fo,">$path/.group";
  while (<Fi>) {
    print Fo $_;
  }
  close Fo;
  close Fi;
}
 
#-------------------------------------------------------------------------- RealName support
#
 
sub CreateRealnameFile($) {
  my $path=shift;
 
  open Fi,"<$cfgpath/realname.cfg";
  open Fo,">$path/.realname";
  while (<Fi>) {
    print Fo $_;
  }
  close Fo;
  close Fi;
}
 

Всего записей: 2 | Зарегистр. 15-03-2007 | Отправлено: 00:58 19-04-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
#if url size exceed $bigfilelimit - add this file into report
$bigfilelimit        = 200*1024*1024;  

у вас указано 200 МЕГАБАЙТ !!
 
файл попадает в bigfiles если его размер превышае в вашем случае 200 мегабайт
хоть один такой файл был ?
если небыло то файл и не создается ...
 
поставьте  2 метра (2*1024*1024) и посмотрите на результат.
 

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 01:14 20-04-2008
turbina2261

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
мега спасибо =)))

Всего записей: 2 | Зарегистр. 15-03-2007 | Отправлено: 18:19 20-04-2008
dtango

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hi all.
Автору спасибо за полезную програмку.  
Вопрос вот какой ...
Объясните  откуда берутся пустые строки при статистики по конкретному сайту.  
Например :
http://lightsquid.sourceforge.net/demo17/whousesite.cgi?year=2005&month=04&day=&mode=month&usersite=www.kc.com
 
Так и должно быть ? Можно ли их убрать?
Вер 1.7.1.

Всего записей: 10 | Зарегистр. 02-11-2004 | Отправлено: 14:14 07-05-2008
lightsquid

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Объясните  откуда берутся пустые строки при статистики по конкретному сайту.

какие такие пустые строки,  
в каждой строке - один день,  
если юзер совпадает, зачем нам дублировать (загрязнять) вывод
т.е. в обном блоке - информация за все дни когда конкретный юзер был на этом сайте.
 
речь про это ?

Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 14:34 08-05-2008
dtango

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
http://lightsquid.sourceforge.net/demo17/whousesite.cgi?year=2005&month=04&day=&mode=month&usersite=www.kc.com  
 
user081 ? 572 71.1 M 01 Apr 2005  
За 02 Apr 2005 строка пустая (ни конектов , ни мегабайтов) , то есть  она очевидно означает , что узер в этот день сайтом не пользовался. Тогда зачем её выводить ?  
Представляете как тогда будет выглядеть статистика за месяц по 100 пользователям каждый из которых хотя бы один раз посетил конкретный сайт ?

Всего записей: 10 | Зарегистр. 02-11-2004 | Отправлено: 10:50 09-05-2008
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Активные темы » LightSquid


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru