Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Активные темы » LightSquid

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Открыть новую тему     Написать ответ в эту тему

ginger



Рыжик		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

LightSquid - lite and fast log analizer for squid proxy

Текущая версия 1.8 Изменения  
Домашняя страница автор Сергей Ерохин (Sergey Erokhin).
 
LightSquid маленькая и быстрая программка сбора статистики работы пользователей через прокси-сервер Squid, является альтернативой SARG, представляет собой набор из нескольких скриптов написанных на языке программирования perl.
 
Требования:
 
Apache
Perl
Perl-GD2 (если необходимы графики)
Squid
Cron
 
Установка.
Всего записей: 854 | Зарегистр. 03-09-2001 | Отправлено: 11:18 01-02-2006 | Исправлено: zhe_zho, 18:28 27-01-2014
skeljuve



Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вообщем проблему решил: все пробелы в именах заменяются на символ подчёркивания "_". В итоге всё отлично работает.
 
У меня настроена доменная авторизация, соответственно в настройках lightsquid.cfg стоит такое:

Код:
$ip2name="squidauth";

Теперь открываем файл /usr/local/libexec/lightsquid/ip2name.squidauth (у меня FreeBSD, поэтому путь такой, у вас может быть другой) и после строки

Код:
$user    =URLDecode($user); #decode user name

добавляем такую:

Код:
$user =~ s/\s/_/g;
Всего записей: 70 | Зарегистр. 23-06-2007 | Отправлено: 11:17 13-10-2010
Avolon



Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Привет Норд
Вопрос а как можно сделать экспорт в cvs или эксель????
Всего записей: 41 | Зарегистр. 10-01-2006 | Отправлено: 10:56 27-10-2010
lightsquid

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сделайте свой темплейт, в котором будут только нужные данные
Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 14:44 27-10-2010
AnatAnna

Newbie		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Добрый день, автор.
у меня на одном из серверов стоит предыдущая версия 1.7.1
на текущем - 1.8
и вот на этом, текущем , в отчете появляются следующие ссылки  
------
http://connect.mail.ru/share_button?type=button&width=100%25&show_text=true&show_faces=true&title=C%20%D0%94%D0%BD%D0%B5%D0%BC%20%D1%80%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F!&desc=%D0%90%D0%B4%D0%BC%D0%B8%D0%BD%D0%B8%D1%81%D1%82%D1%80%D0%B0%D1%86%D0%B8%D1%8F%20%D0%91%D0%BB%D0%BE%D0%B3%D0%BE%D0%B2%40Mail.Ru%20%D0%BE%D1%82%20%D0%B2%D1%81%D0%B5%D0%B9%20%D0%B4%D1%83%D1%88%D0%B8%20%D0%BF%D0%BE%D0%B7%D0%B4%D1%80%D0%B0%D0%B2%D0%BB%D1%8F%D0%B5%D1%82%20%20%D0%90%D0%BB%D0%B5%D0%BA%D1%81%D0%B5%D0%B9%20%D0%A8%D0%B0%D0%B1%D0%B0%D1%88%D0%BE%D0%B2%20%D1%81%20%D0%B4%D0%BD%D0%B5%D0%BC%20%D1%80%D0%BE%D0%B6%D0%B4%D0%B5%D0%BD%D0%B8%D1%8F.%20%20%20%20%D0%92%D1%8B%20%D0%BC%D0%BE%D0%B6%D0%B5%D1%82%D0%B5%20%D0%BF%D1%80%D0%B8%D1%81%D0%BE%D0%B5%D0%B4%D0%B8%D0%BD%D0%B8%D1%82%D1%8C%D1%81%D1%8F%20%D0%BA%20%D0%BD%D0%B0%D0%BC%2C%20%D0%BE%D1%82%D0%BF%D1%80%D0%B0%D0%B2%D0%B8%D0%B2%20%D0%BE%D1%82%D0%BA%D1%80%D1%8B%D1%82%D0%BA%D1%83%20%D0%B8%D0%BB%D0%B8%20%D0%BE%D1%81%D1%82%D0%B0%D0%B2%D0%B8%D0%B2%20%D1%81%D0%B2%D0%BE%D0%B8%20%D0%BF%D0%BE%D0%B7%D0%B4%D1%80%D0%B0%D0%B2%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F%20%D0%B2%20%D0%BA%D0%BE%D0%BC%D0%BC%D0%B5%D0%BD%D1%82%D0%B0%D1%80%D0%B8%D1%8F%D1%85%20%D0%BA%20%D1%8D%D1%82%D0%BE%D0%B9%20%D0%B7%D0%B0%D0%BF%D0%B8%D1%81%D0%B8.&image_url=http%3A%2F%2Favt.foto.mail.ru%2Fmail%2Faleshashabashov%2F_avatar&domain=mail.ru&url=http%3A%2F%2Fblogs.mail.ru%2Fmail%2Faleshashabashov%2F14F6782DBDFC614C.html&buttonID=6245981&faces_count=10&height=20&caption=%D0%9D%D1%80%D0%B0%D0%B2%D0%B8%D1%82%D1%81%D1%8F&wid=5507745&app_id=-1&host=http%3A%2F%2Fblogs.mail.ru
-----------
 
http://mc.yandex.ru/watch/50589?rn=367543&cnt-class=1&page-ref=http%3A%2F%2Fad.adriver.ru%2Fcgi-bin%2Ferle.cgi%3Fsid%3D48250%26target%3Dblank%26bt%3D36%26pz%3D3%26rnd%3D791303135%26tail256%3Dhttp%253A%2F%2Fyandex.ru%2Fyandsearch%253Ftext%253Dgjuj%2525D0%2525B4%2525D0%2525B0%2B%2525D0%2525B2%2B%2525D1%252585%2525D0%2525B5%2525D0%2525BB%2525D1%25258C%2525D1%252581%2525D0%2525B8%2525D0%2525BD%2525D0%2525BA%2525D0%2525B8%2526sid%253D209491295258197048677%2526lid%253Dv11.search%2526lr%253D2&page-url=http%3A%2F%2Fwww.gismeteo.ru%2Fyandex728x90_r_2.html%3Fhtml_params%3Drhost%253Dad.adriver.ru%2526sid%253D48250%2526ad%253D175836%2526bid%253D774695%2526ar_ntype%253D0%2526bt%253D36%2526pz%253D3%2526bn%253D0%2526width%253D728%2526height%253D90%2526rnd%253D791303135%2526geozoneid%253D33%2526rleurl%253D%2526target%253D_blank%2526sliceid%253D516257&browser-info=j:1:s:1024x768x16:f:9.0.124:fr:1:w:728x90:z:180:i:20110117125653:en:UTF-8:v:911:c:1&site-info=%7B%7D
 
===
подобные ссылки в отчете -  делают отчет плохо читаемым. из за появления горизонт. скроллбара.  да и ссылка то - не ссылка вовсе.  и таких нераспарсенных ссылок довольно много.
 
на сервере с версией 1.7.1 подобное не наблюдается
Всего записей: 6 | Зарегистр. 15-12-2007 | Отправлено: 17:03 17-01-2011
fish111



Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вопрос очиски отчетов в Lightsquid:
После правки файлов (.bigfiles, .total) и report-файла соответсвующего юзера, все вроди бы нормально: браузер перерисовывает корректно, но сортрировки нету! Как отсортировать результаты? Спасибо за ответы.
Всего записей: 31 | Зарегистр. 03-02-2010 | Отправлено: 22:17 27-01-2011 | Исправлено: fish111, 10:03 31-01-2011
fish111



Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
... и еще  вопрос в догонку
В LightSquid можно исключить определенный WEB сайт со статистики (в Lightsquid.cfg)
Есть ли возможность исключить этот сайт не для всех, а  для КОНКРЕТНОГО пользователя?
Всего записей: 31 | Зарегистр. 03-02-2010 | Отправлено: 10:01 31-01-2011 | Исправлено: fish111, 10:04 31-01-2011
lightsquid

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
можно конечно, дописываете нужное в ip2name
 
вот пример для simple
 

Код:
 
sub Ip2Name($$$) {
  # $Lhost,$user,$Ltimestamp
  my $Lhost=shift;
  my $user =shift;
 
  return "SKIP THIS IP" if ( ($user eq "VASYA") and ($Lhost =~ /forum\.ru-board\.com/))
 
  return $user if ($user ne "-"); #return user if defined !!!!!
  return $Lhost;
}
 

идея надеюсь понятна
 
p.s. про очистку логов - не понял.
Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 10:39 31-01-2011
fish111



Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
p.s. про очистку логов - не понял.

 
Возможно некорректно сформулировал вопрос. Речь идет не о очистке логов, а о очиске отчетов, созданых  Lightsquid-ом в результате парсинга лога сквида:  
Нужно, "опустить" юзера, который в отчете находится в топе по количеству использованого трафика.
После правки файлов (.bigfiles, .total) и report-файла соответсвующего юзера, все вроди бы нормально: браузер перерисовывает корректно,  но соответствующая запись все равно находися в самов верху (хотя и с меньшим количеством выкачаных мегабайтов, чем у записей, находящихся снизу), то есть  сортрировки нету!
Как отсортировать результаты? Что бы браузер отображал как положено... Спасибо
Всего записей: 31 | Зарегистр. 03-02-2010 | Отправлено: 11:37 31-01-2011
lightsquid

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
после редактирования .total - стока осталась той-же ?
переместите usera в нужное место в списке.
 
он при выводе не сортирует, просто вычитывает и отображает то что есть
смысла сортировать локально особого нет
 
 
Добавлено:
p.s. про "для конкретного пользователя" - помогло ?
Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 14:38 31-01-2011
fish111



Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
переместите usera в нужное место в списке.

 
Cпасибо, помогло.
 

Цитата:
p.s. про "для конкретного пользователя" - помогло ?

 
А тут что то непонятное.
если в ip2name прописать строку (прописывал в ip2name.squidauth), например, как сделал я (мож. я ошибся, не исключено)
  return "SKIP THIS IP" if ( ($user eq "vok") and ($Lhost =~ "audi-club\.ru));
то не работает, не фильтрует URL, где в строке встречается audi-club.ru
Всего записей: 31 | Зарегистр. 03-02-2010 | Отправлено: 15:55 31-01-2011 | Исправлено: fish111, 17:06 01-02-2011
fish111



Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Cпасибо Сергею Ерехину за помощь! Все заработало
Всего записей: 31 | Зарегистр. 03-02-2010 | Отправлено: 17:56 09-02-2011
St0ne99

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lightsquid
Сергей, подскажите пожалуйста, как слить в одну строку статистику по сабдоменам?
Чтобы обрезалось до домена 2-го уровня. То есть примерно так:
 
Вместо отдельной статистики по:
www.mail.ru
js.imgsmail.ru
img.imgsmail.ru
 
Сводная:
mail.ru
 
--------------
Ну и возможность прописывать алиасы (это не критично, но было бы здорово). То есть:
Вместо раздельной статистики по:
dnl-01.geo.kaspersky.com
dnl-08.geo.kaspersky.com  
dnl-04.geo.kaspersky.com
 
Сводная:
"Обновление Антивируса"
Всего записей: 3 | Зарегистр. 31-08-2010 | Отправлено: 11:23 15-02-2011 | Исправлено: St0ne99, 11:31 15-02-2011
lightsquid

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
для 1.8
редактируем lightparser.pl
 
ищем там такое
 
 
    $url =~ s/([a-z]+:\/\/)??.*\.(odnoklasniki\.ru)/$1www.$2/o;
 
и добавляем нужное
 
    $url =~ s/([a-z]+:\/\/)??.*\.(kaspersky\.com)/$1www.$2/o;
 
только это будет действительно для новых репортов
 
в папке tools\SiteAggregator  
есть пару скриптов чтобы убрать такие штуки в базе
и найти что убирать
Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 13:54 15-02-2011
St0ne99

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо огромное! Вроде бы работает, но как быть вот с этим:
 
*.mail.ru  
*.imgsmail.ru  
*.attachmail.ru  
 
Как их всех загнать в:
mail.ru  
 
???
Всего записей: 3 | Зарегистр. 31-08-2010 | Отправлено: 15:10 15-02-2011
lightsquid

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
по аналогии
 
 $url =~ s/([a-z]+:\/\/)??.*\.(mail.ru)/$1mail.ru/o;  
 $url =~ s/([a-z]+:\/\/)??.*\.(imgsmail.ru)/$1mail.ru/o;  
 $url =~ s/([a-z]+:\/\/)??.*\.(attachmail.ru)/$1mail.ru/o;  
 
по идее так
Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 16:35 15-02-2011 | Исправлено: lightsquid, 16:37 15-02-2011
AnatAnna

Newbie		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
к посту №344 о нераспарсенных ссылках.
 
по прежнему имею в протоколе такие ссылки, что портит внешний вид отчета. (картинка2)
 
причем, если содержимое <a> тега показывается как    
http://connect.mail.ru/share_button?type=button&width=100&domain=news.mail.ru&url=http%3A%2F%2Fnews.mail.ru%2Fsocie......
 
то значение href у неё выставлено в
 
http://http//connect.mail.ru/share_button?type=button&width=100&domain=news.mail.ru&url=http%3A%2F%2Fnews.mail.ru%2Fsociety%2F5...
 
 
rem: в сквид протоколе ссылка правильная
 
1297845075.832    207 192.168.7.32 TCP_MISS/200 24899 GET http://connect.mail.ru/share_button?type=button&width=100&domain=news.mail.ru&url=http%3A%2F%2Fnews.mail.ru%2Fsociety%2F53404...
 
помогите избавиться от этого.
спасибо.
Всего записей: 6 | Зарегистр. 15-12-2007 | Отправлено: 17:26 16-02-2011 | Исправлено: AnatAnna, 18:13 16-02-2011
lightsquid

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
стоп, похоже вы в сквиде включили сохранение полных URL
по умолчанию (опцию не помню) он не сохраняет в лог часть после '?'
 
посмотрите в конфиг
Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 18:17 16-02-2011 | Исправлено: lightsquid, 18:17 16-02-2011
AnatAnna

Newbie		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
в логе сквида присутствуют строки  
 
1297837147.237      0 192.168.7.39 TCP_MEM_HIT/200 1706 GET http://vkontakte.ru/js/al/index.js?10 - NONE/- application/x-javascript
 
1297837126.071    141 192.168.7.46 TCP_MISS/200 2592 GET http://amadeusvista.com/VWPS_UserInterface_4.1.P100/index.asp?Language=RU&borderLineColor=1CA94A&Airline= - DIRECT/195.27.162.31 text/html
 
 
т.е. с вопросами
но для этих стайтов статистика собирается нормально (без длинных строк)
 
более того, на том сервере где стоит предыдущая версия lightsquid(и вышеуказанных проблем отчетов нет) - в логах сквида также присутствуют вопросы в середине url  
напр.  
1297838987.916    207 192.168.13.105 TCP_MISS/302 856 GET http://www.google.ru/url?sa=p&pref=ig&pval=3&q=http://www.google.ru/ig%3Fhl%3Dru%26source%3Diglk&usg=AFQjCNGA90yIbM1R8iZtlxuqENUj3kH4hw - DIRECT/74.125.79.99 text/html
Всего записей: 6 | Зарегистр. 15-12-2007 | Отправлено: 01:57 17-02-2011 | Исправлено: AnatAnna, 02:03 17-02-2011
AnatAnna

Newbie		Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
может мне вам выслать мой access.log а вы посмотрите как ваш парсер разберет его?
Всего записей: 6 | Зарегистр. 15-12-2007 | Отправлено: 01:39 26-02-2011
lightsquid

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
высылайте - посмотрим,
шлите лог, и всю папку lightsquid
+ конфиг сквида ...
 
Добавлено:
высылайте - посмотрим,
шлите лог, и всю папку lightsquid
+ конфиг сквида ...
Всего записей: 105 | Зарегистр. 15-02-2006 | Отправлено: 12:03 02-03-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Активные темы » LightSquid


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru