Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » LightSquid

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Открыть новую тему     Написать ответ в эту тему

ginger



Рыжик
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

LightSquid - lite and fast log analizer for squid proxy

Текущая версия 1.8 Изменения  
Домашняя страница автор Сергей Ерохин (Sergey Erokhin).
 
LightSquid маленькая и быстрая программка сбора статистики работы пользователей через прокси-сервер Squid, является альтернативой SARG, представляет собой набор из нескольких скриптов написанных на языке программирования perl.
 
Требования:
 
Apache
Perl
Perl-GD2 (если необходимы графики)
Squid
Cron
 
Установка.

Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 11:18 01-02-2006 | Исправлено: zhe_zho, 18:28 27-01-2014
belijandrey

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добрый день.
 
При просмотре статистики в списке отображаются как имена пользователей, так и ip адреса компьютеров.  
Почему такое может быть? Или это нормально?
 
https://yadi.sk/i/L5wWZwtpjzopU

Всего записей: 2 | Зарегистр. 23-03-2015 | Отправлено: 11:53 26-10-2015 | Исправлено: belijandrey, 11:54 26-10-2015
GoraArm



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добрый день! прочитал 2 раза весь пост! и не черта не догнал. у меня стоит SQUID и отчеты через LIGHTSQUID. хочу что бы в столбце REAL NAME отображались имена, но многих ссылок и файлов у меня нет которые вы указываете тут в посте, у себя нашел вот такой файл в  
/usr/share/lightsquid/ip2name/ip2name.list
в нем  
#ESL
#convert user -> ip , get user name from file
#file format
#
#192.168.0.96 User1
#192.168.0.106 User2
#192.168.0.105 User3
#
#if user not found -> return IP  
 
sub StartIp2Name() {
    my $ipfile = "/etc/squid/users.txt";
 
    open (F, "<$ipfile") || die ("ERROR: Can't open $ipfile!!! \n");
    while (<F>) {
      chomp;
      ($ip,$user) = split;
      $hIP2NAME{$ip}=$user;
    }  
    close (F);
}
 
sub Ip2Name($$$) {
# $Lhost,$user,$Ltimestamp
    my $ip=shift;
    my $ret;
     
    if (defined $hIP2NAME{$ip}) {
      $ret=$hIP2NAME{$ip};
    } else {
      $ret=$ip;
    }
     
    return $ret;
}
 
sub StopIp2Name() {
}
 
#warning !!!
1;
 
 
 
Подскажите новичку, куда тут вбить айпи и ник, что бы в отчете он отображался? сразу после примера или в самом конце? я просто пробовал и так и так, не помогло, я что то не так сделал или что?  
в Lightsqiud.conf ip2name я поставил List

Всего записей: 35 | Зарегистр. 08-07-2013 | Отправлено: 12:54 16-05-2017
adsh

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
my $ipfile = "/etc/squid/users.txt";
 
В этот файлик впишите.

Всего записей: 105 | Зарегистр. 02-05-2003 | Отправлено: 02:04 24-05-2017
adsh

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Подскажите как правильно написать группировку сайтов?  Чувствую что истина где-то рядом, но ......    *.maps.yandex.net  *.maps.yandex.net:443    без номера порта все работает по примеру вытащенному из ветки,    $url =~ s/([a-z]+:\/\/)??.*\.(maps\.yandex\.net)/$1([a-z]+:\/\/)??.$2/o;    При тупой подстановке, не работает  $url =~ s/([a-z]+:\/\/)??.*\.(maps\.yandex\.net:443)/$1([a-z]+:\/\/)??.$2/o;

Потому, что парсер кривой. Всё, что содержит в себе ":443" - через него не проходит.
 
Правим:
 

Код:
#extract site name
if ($url =~ m/([a-z]+:\/\/)??([a-z0-9\-]+\.){1}(([a-z0-9\-]+\.){0,})([a-z0-9\-]+){1}(:[0-9]+)?\/(.*)/o) {
$site=$2.$3.$5;

 
на
 

Код:
#extract site name
if ($url =~ m/([a-z]+:\/\/)??([a-z0-9\-]+\.){1}(([a-z0-9\-]+\.){0,})([a-z0-9\-]+){1}(:[0-9]+)?\/?(.*)/o) {
$site=$2.$3.$5.$6;
 

 
Иначе все CONNECT запросы попадают в:
 

Код:
$site=$Lurl;

 
т. е. - минуя все группировки.

Всего записей: 105 | Зарегистр. 02-05-2003 | Отправлено: 03:39 14-07-2017 | Исправлено: adsh, 04:03 16-07-2017
s800



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите теряется статистика за предыдущие дни в  LightSquid вер 1.8  
 

 



----------
Самый хороший учитель в жизни — опыт. Берет, правда, дорого, но объясняет доходчиво.

Всего записей: 1684 | Зарегистр. 21-02-2005 | Отправлено: 07:11 02-11-2017
Falcon99



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
День добрый.  
Пытаюсь запустить анализ логов 3proxy с помощью этой программы под Windows 2003. В 3proxy задал формат лога совместимый с squid.  
Поставил Xampp, скачал lightsquid-1.8.tgz. По инструкции все настроил. Но при запуски проверки получаю:

Код:
C:\xampp\perl\bin\perl.exe C:\xampp\htdocs\lightsquid\check-setup.pl
LightSquid Config Checker, (c) 2005-9 Sergey Erokhin GNU GPL
 
can't access to C:/xampp/squid/access.log `access.log` file
check $logpath variable or privilege

 
Где может быть проблема?

Всего записей: 607 | Зарегистр. 12-10-2005 | Отправлено: 15:25 05-12-2018 | Исправлено: Falcon99, 15:27 05-12-2018
ipmanyak



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Falcon99

Цитата:
can't access to C:/xampp/squid/access.log  
может слэши надо в другую сторону направить? В линуксе они в одну сторону, в винде в другую.
C:\xampp\squid\access.log ?
сам путь то правильный?


----------
В сортире лучше быть юзером, чем админом...

Всего записей: 11724 | Зарегистр. 10-12-2003 | Отправлено: 15:56 05-12-2018 | Исправлено: ipmanyak, 15:59 05-12-2018
Falcon99



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
может слэши надо в другую сторону направить? В линуксе они в одну сторону, в винде в другую.
C:\xampp\squid\access.log ?  

 
Тогда получаю:

Код:
C:\xampp\perl\bin\perl.exe C:\xampp\htdocs\lightsquid\check-setup.pl
LightSquid Config Checker, (c) 2005-9 Sergey Erokhin GNU GPL
 
can't access to C:
mppsquidccess.log `access.log` file
check $logpath variable or privilege

 
Взял вообще кинул access.log в htdocs

Код:
C:\xampp\perl\bin\perl.exe C:\xampp\htdocs\lightsquid\check-setup.pl
LightSquid Config Checker, (c) 2005-9 Sergey Erokhin GNU GPL
 
can't access to /htdocs/access.log `access.log` file
check $logpath variable or privilege

 

Цитата:
сам путь то правильный?  

Да, проверял несколько раз.

Всего записей: 607 | Зарегистр. 12-10-2005 | Отправлено: 17:23 05-12-2018
ipmanyak



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Falcon99 Пробуй убрать в пути имя файла
$logpath             ="C:/xampp/squid";
так должно отработать
сам файл пусть там потом лежит с именем access.log


----------
В сортире лучше быть юзером, чем админом...

Всего записей: 11724 | Зарегистр. 10-12-2003 | Отправлено: 07:58 06-12-2018 | Исправлено: ipmanyak, 07:59 06-12-2018
Falcon99



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ipmanyak

Цитата:
$logpath             ="C:/xampp/squid";
так должно отработать  

 
Спасибо. Помогло, правда и другие переменные пришлось приводить к такому же виду:

Код:
#path to additional `cfg` files
$cfgpath             ="C:/xampp/htdocs/lightsquid";
#path to `tpl` folder
$tplpath             ="C:/xampp/htdocs/lightsquid/tpl";
#path to `lang` folder
$langpath            ="C:/xampp/htdocs/lightsquid/lang";
#path to `report` folder
$reportpath          ="C:/xampp/htdocs/lightsquid/report";
#path to access.log
$logpath             ="C:/xampp/squid";  
#path to `ip2name` folder
$ip2namepath         ="C:/xampp/htdocs/lightsquid/ip2name";

 
Правда при тесте выдало.

Код:
no: GD.PM found, please install or set $graphreport=0 to disable

Поэтому пришлось $graphreport назначать равным 0.

Всего записей: 607 | Зарегистр. 12-10-2005 | Отправлено: 09:59 06-12-2018
Falcon99



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
После настройки, при попытки зайти на http://127.0.0.1/lightsquid/index.cgi , получал:

Код:
Server error!
 
The server encountered an internal error and was unable to complete your request.
 
Error message:
couldn't create child process: 720003: index.cgi  

 
Решилось с помощью совета с третьей страница. Заменил в каждом скрипте строку:

Код:
#!/usr/bin/perl

на  

Код:
#!"\xampp\perl\bin\perl.exe"

После этого стало показывать статистику.
Но столкнулся с новой проблемой. При запуске анализа статистики строчкой

Код:
C:\xampp\perl\bin\perl.exe C:\xampp\htdocs\lightsquid\lightparser.pl

обрабатывается только файл "access.log", а файлы вида "access.log.01", "access.log.02" и т.д. в обработку не попадают, если же указывать принудительно:

Код:
C:\xampp\perl\bin\perl.exe C:\xampp\htdocs\lightsquid\lightparser.pl access.log.01

То обработка происходит. Т.е. парсер просто не ищет наличие данных файлов.
 

Всего записей: 607 | Зарегистр. 12-10-2005 | Отправлено: 14:02 06-12-2018 | Исправлено: Falcon99, 14:10 06-12-2018
ipmanyak



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Falcon99  
1 - ясно же в конфиге написано - путь к папке, а не путь вместе с файлом.
2 - потому и файл он берет один  - access.log,  
squid, sarg и lightsquid изначально были заточены на линукс,   последний  access.log скармливается анализатору ночью, он формирует отчеты с накоплением данных, затем  лог ежесуточно ротируется и архивируется, потому анализатору не нужно знать про access.log.01, по идее  и не должны они у тебя быть
Если бы я  в конце месяца скармливал анализатору ежесуточные  логи размером  в 1.5-2ГБ , он бы у меня втух на очень длительное время..
Так что настрой ротацию, корми анализатор  по ночам и будет всё в норме.
 
 


----------
В сортире лучше быть юзером, чем админом...

Всего записей: 11724 | Зарегистр. 10-12-2003 | Отправлено: 14:13 06-12-2018 | Исправлено: ipmanyak, 14:14 06-12-2018
Falcon99



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Так что настрой ротацию, корми анализатор  по ночам и будет всё в норме.  

 
Так и прийдется делать, просто в lightparser.pl есть строка

Код:
2005-04-30 ADD    : Rewrite archive support, now support access.log.{D},access.log.{D}.gz,access.log.{D}.bz2

Поэтому и думал что он файлы вида ccess.log.* тоже будет подхватывать.  
 
Кстати посмотрел php info у XAMPP:

Код:
GD Support  enabled  
GD Version  bundled (2.1.0 compatible)  

Но наверное он не совместим с Perl-GD2, т.к. и при проверке пишется что нет поддержки графики, да и при попытке просмотреть графики выскакивает ошибка. Но главное выполняется назначение - показ статистики в удобном виде.

Всего записей: 607 | Зарегистр. 12-10-2005 | Отправлено: 15:04 06-12-2018
ipmanyak



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Falcon99
>Rewrite archive support, now support access.log.{D},access.log.{D}.gz,access.log.{D}.bz2  
я про это хз, сам копай
P.S  
а зачем ты это всё на винде замутил, а не в никсах?

----------
В сортире лучше быть юзером, чем админом...

Всего записей: 11724 | Зарегистр. 10-12-2003 | Отправлено: 15:44 06-12-2018
Falcon99



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Потому что в качестве прокси сервера используется машина на Windows Server 2003 с VipNet. Выход в интернет только с нее. В качестве прокси стоит программа 3proxy, у нее можно менять формат логов. В качестве анализатора логов можно использовать WinRoute Spy, но меня не устраивает выдаваемые ей логи, т.к. нет возможности показать статистку для группы пользователей.
 
P.s. Кстати теперь надо разобраться с  realname.cfg и group.cfg. Скорей всего прийдется заполнять вручную. Потому что хоть и есть AD, но как заставить получить из него информацию с помощью ip2name, я даже не представляю.

Всего записей: 607 | Зарегистр. 12-10-2005 | Отправлено: 16:18 06-12-2018 | Исправлено: Falcon99, 16:20 06-12-2018
Falcon99



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
adsh уже давал ответ на такой же вопрос, но
 
Цитата:
#extract site name
if ($url =~ m/([a-z]+:\/\/)??([a-z0-9\-]+\.){1}(([a-z0-9\-]+\.){0,})([a-z0-9\-]+){1}(:[0-9]+)?\/?(.*)/o) {
$site=$2.$3.$5.$6;  

 
Мне не помогла в статистике все-равно есть строки вида:

Код:
18 ну и Кто www.fastpic.ru:443 596 375.0 M 0.8%  
19 ну и Кто www.fastpic.ru 4 425 365.5 M 0.8%  


Код:
6 ну и Кто www.mail.ru:443 110 102 1.1 G 2.6%  
105 ну и Кто mail.ru:443 1 506 61.6 M 0.1%

 
Т.е. различает при статистике с www и без, с :443 и без, хотя хотелось бы чтобы происходило их объединение.
 
В файле lightparser.pl строчки для группировки есть:

Код:
$url =~ s/([a-z]+:\/\/)??.*\.(fastpic\.ru)/$1www.$2/o;
$url =~ s/([a-z]+:\/\/)??.*\.(mail\.ru)/$1www.$2/o;

Всего записей: 607 | Зарегистр. 12-10-2005 | Отправлено: 13:11 29-01-2019 | Исправлено: Falcon99, 13:17 29-01-2019
GoraArm



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
здравствуйте! прошу помочь с проблемой,  
я ставил Squid+LightSquid и все работало хорошо ( ставил по гайду, сам не очень шарю во всем)
проблема вот в чем, когда запускаю веб страницу для просмотра там нет 2021 года, и я не могу просмотреть статистику, как это исправить?  
https://yadi.sk/i/kepRxbe4f1n1_w
Ссылка
 
и еще 1 вопрос, где мне найти эту страницу ???  
http://192.168.50.5/lightsquid/index.cgi?year=2020&month=all
в /var/www/  нету =(

Всего записей: 35 | Зарегистр. 08-07-2013 | Отправлено: 15:26 04-02-2021 | Исправлено: GoraArm, 16:11 04-02-2021
ipmanyak



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
GoraArm
Lightsquid Stop Working in 2021
https://finisky.github.io/2021/01/03/lightsquidhardcodeyear.en/

Код:
 
Found two issues:
 
    A hardcode 2020 in $filterdatestop which makes lightsquid not work in 2021
    today argument cannot work with customized file at the same time
 

 
Решение в последней строке поста:
Fixed version: https://github.com/finisky/lightsquid-1.8.1   # Lightsquid v1.8 2021 fix  


----------
В сортире лучше быть юзером, чем админом...

Всего записей: 11724 | Зарегистр. 10-12-2003 | Отправлено: 21:42 04-02-2021 | Исправлено: ipmanyak, 21:45 04-02-2021
GoraArm



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо!

Всего записей: 35 | Зарегистр. 08-07-2013 | Отправлено: 11:44 09-02-2021 | Исправлено: GoraArm, 11:57 09-02-2021
Falcon99



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ipmanyak
Спасибо.

Всего записей: 607 | Зарегистр. 12-10-2005 | Отправлено: 13:09 15-02-2021
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » LightSquid


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru