Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Анализатор лог файлов серверов - Servers Log Analyser

Модерирует : lynx, Crash_Master, dg, emx, ShriEkeR

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4

Открыть новую тему     Написать ответ в эту тему

keha



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Анализ логфайлов серверов - Servers Log Analyser

 
 
Название    Лицензия    Ось    Возможности    Коментарий    Ищем    Обсуждаем      
 
Webalizer
   
Open-Source GNU
   
Windows
   
?
   
написан на си, работает так быстро, что быстрее не бывает    
-
   
     
 
AWStats
   
Open-Source GNU
   
Windows, Unix
   
?
   
Лучший среди бесплатных    
-
   
     
 
Analog
   
Freeware
   
All
   
?
   
очень быстр (написан на C), бесплатен, гибко настраиваем. хорошая статья на русском    
-
   
-
         
 
Apache logfile monitor
   
Freeware
   
?
   
?
   
PHP-скрипт дает возможность получения практически любого отчета о посещаемости Вашего сайта, анализируя стандартный log файл сервера Apache. Возможности отчетов: по хостам посетителей, по рефферам (откуда зашли) и их серверам отдельно, по UserAgent, по вашим страницам и тд. Возможность конструировать собственный отчет. .    
-
   
-
     
 
WebTrends Log Analyzer
   
Shareware
   
Windows
   
?
   
анализирует статистику в offline, но может в автомате скачивать и заливать отчёт в виде html обратно на сервак, или же куда тебе угодно        
-
     
 
Sawmill
   
Shareware
   
All
   
?
   
По-моему один из самых мощных анализаторов логов. Для огромного числа платфором и серверов    
-
   
     
 
WebLog Expert
   
Shareware
   
Windows
   
?
   
По-моему один из самых мощных анализаторов логов. Для огромного числа платфором и серверов        
-
         
 
Azure Web Log
   
Shareware
   
Windows
   
common logfile format, NCSA combined log,W3
   
Программа Azure Web Log предназначена для обработки лог-файлов web-сервера на стороне пользователя. Позволяет собрать и проанализировать информацию о посещениях вашего сайта, запросах к любым страницам или файлам сервера.        
-
         
 
Webspy Analysis and Reporting
   
Shareware
   
Windows
   
очень много !
   
?        
-
         
 
Mail Detective
   
Shareware
   
Windows
   
Exchange, MDaemon, Kerio. Merak, Visnetic, Qmail, SendMail, Communigate
   
?        
-
       

 
Urchin Software from Google
Omniture
ClickTracks Analazer
Unica's Web Analytics Solutions
Deep Log Analyzer
eIQ LogAnalyzer
WrSpy
Web Log Explorer
eWebLog Analyzer
Web Log Storming
Summary
 
 
 
Обзор анализаторов логов серверов (рус)
Google.com - Log Analysis
 
 
Родственные темы
Web Log Analysis Software - Analazers - All in One
Серьезные анализаторы логов (log analizers)

Всего записей: 82 | Зарегистр. 15-08-2001 | Отправлено: 09:30 22-08-2002 | Исправлено: slech, 10:05 22-08-2008
doktor2

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
AWStats анализирует суточный лог.  Тоесть сначало Вы по cron указываете копирование суточного лога в нужную Вам директорию. Потом по тому же cron "заставляете" AWStats этот лог анализировать.  Тоесть если раз в сутки Вы будете выполнять сию операцию, то о никаких "перезагрузок" сервера говорить не приходиться.  А "докачивать" логи, по моему собственному опыту, Вам быстро надоест. Хотя,  все говорят, что я ленив. Возможно Вам больше повезло с наследственностью.

Всего записей: 23 | Зарегистр. 01-08-2005 | Отправлено: 21:38 17-03-2006
neo666

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
=)
спасибо за инфу!
у меня логи zip-архивируются ежемесячно, лежат себе в отдельных файликах.. В принципе, раз в месяц качнуть не особо напрягает. ну каждому свое

Всего записей: 123 | Зарегистр. 09-04-2004 | Отправлено: 21:59 17-03-2006
guess



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
патч позволяющий использовать общий DNS кеш (удобно на сервере хостинга)

Код:
 
--- /usr/local/www/awstats/cgi-bin/awstats.pl.orig    Sun Feb 26 18:30:12 2006
+++ /usr/local/www/awstats/cgi-bin/awstats.pl    Sun Feb 26 18:34:06 2006
@@ -45,7 +45,7 @@
 use vars qw/
 $DIR $PROG $Extension
 $Debug $ShowSteps
-$DebugResetDone $DNSLookupAlreadyDone
+$DebugResetDone $DNSLookupAlreadyDone $SameDNSCache
 $RunAsCli $UpdateFor $HeaderHTTPSent $HeaderHTMLSent
 $LastLine $LastLineNumber $LastLineOffset $LastLineChecksum $LastUpdate
 $lowerval
@@ -64,7 +64,7 @@
 /;
 $DIR=$PROG=$Extension='';
 $Debug = $ShowSteps = 0;
-$DebugResetDone = $DNSLookupAlreadyDone = 0;
+$DebugResetDone = $DNSLookupAlreadyDone = $SameDNSCache = 0;
 $RunAsCli = $UpdateFor = $HeaderHTTPSent = $HeaderHTMLSent = 0;
 $LastLine = $LastLineNumber = $LastLineOffset = $LastLineChecksum = $LastUpdate = 0;
 $lowerval = 0;
@@ -1132,7 +1132,7 @@
     my @PossibleConfigDir=();
 
     if ($configdir) { @PossibleConfigDir=("$configdir"); }
-    else { @PossibleConfigDir=("$DIR","/etc/awstats","/usr/local/etc/awstats","/etc","/etc/opt/awstats"); }
+    else { @PossibleConfigDir=("$DIR","/etc/awstats","/usr/local/etc/awstats","/etc","/etc/opt/awstats","/usr/local/etc/awstats/clients"); }
 
     # Open config file
     $FileConfig=$FileSuffix='';
@@ -4168,6 +4168,7 @@
     my $filetoload='';
     my $timetoload = time();
 
+    if ($SameDNSCache) {$filesuffix='' };
     if ($Debug) { debug("Call to Read_DNS_Cache [file=\"$dnscachefile\"]"); }
     if ($dnscachefile =~ s/(\.\w+)$//) { $dnscacheext=$1; }
     foreach my $dir ("$DirData",".","") {
@@ -4221,6 +4222,7 @@
     my $nbofelemtosave=$NBOFLASTUPDATELOOKUPTOSAVE;
     my $nbofelemsaved=0;
 
+    if ($SameDNSCache) {$filesuffix='' };
     if ($Debug) { debug("Call to Save_DNS_Cache_File [file=\"$dnscachefile\"]"); }
     if (! scalar keys %$hashtosave) {
         if ($Debug) { debug(" No data to save"); }
@@ -5514,7 +5516,7 @@
 'showsteps','showdropped','showcorrupted','showunknownorigin',
 'limitflush','confdir','updatefor',
 'hostfilter','hostfilterex','urlfilter','urlfilterex','refererpagesfilter','refererpagesfilterex',
-'pluginmode','filterrawlog');
+'pluginmode','filterrawlog','samednscache');
 
 $QueryString='';
 # AWStats use GATEWAY_INTERFACE to known if ran as CLI or CGI. AWSTATS_DEL_GATEWAY_INTERFACE can
@@ -5595,6 +5597,7 @@
     if ($QueryString =~ /diricons=([^&]+)/i)            { $DirIcons="$1"; }
     if ($QueryString =~ /pluginmode=([^&]+)/i)            { $PluginMode=&Sanitize("$1",1); }
     if ($QueryString =~ /configdir=([^&]+)/i)            { $DirConfig=&Sanitize("$1"); }
+    if ($QueryString =~ /samednscache/i)                    { $SameDNSCache=1; }
     # All filters
     if ($QueryString =~ /hostfilter=([^&]+)/i)            { $FilterIn{'host'}="$1"; }            # Filter on host list can also be defined with hostfilter=filter
     if ($QueryString =~ /hostfilterex=([^&]+)/i)        { $FilterEx{'host'}="$1"; }            #
 
 

 
сприпт по унификации обновления статистики сайтов (удобно для хостинга)
болванки клиентов лежат  ../etc/awstats/clients/
 

Код:
 
# $Revision: 1.309 $ - $Author: eldy $ - $Date: 2005/02/18 19:11:17 $
SiteDomain="хххх"
HostAliases="www.хххх"
 
# Common part
#
# overrides settings
Include "/usr/local/etc/awstats/awstats.common.conf"
 
 

 
Сам скрипт, он также генерит обновленную входящую страницу на статистику.

Код:
 
#!/bin/sh
#
#----------------------------------------------------------------------
# Description: awstats_update.sh: script Updating awstats databasee
# Created at: 2005-02-28  16:25:18 (+0200)
# System: FreeBSD 4.10-RELEASE-p4 on i386
#
#----------------------------------------------------------------------
# Configure section:
#
 
LOGS=/var/db/awstats/logs
awstats=/usr/local/www/awstats/cgi-bin/awstats.pl
# where to put index ( empty string means no Index)
index='/www/vhosts/stat/index.html'
 
#
#  Do not rename variable, some rewrite rules rely  on it  
#  One can just add sites to variable  
UPDATES='test.com  test.net'
 
 
#----------------------------------------------------------------------
 
#cat /dev/null > $LOGS
 
#
echo --- Start -- `date` --- > $LOGS
 
 
# Http - Apache
 
# All  
${awstats} -config=all -samednscache  -update >> $LOGS
 
#
# clients
for i in ${UPDATES}  
do
    ${awstats} -config=${i} -configdir='/usr/local/etc/awstats/clients/' -samednscache  -update >> $LOGS
done
 
# /Http
 
# Build configs
 
 
echo --- End -- `date` --- >> $LOGS
 
#
# Generate Html Index file
#
 
# no index  
[ -z "$index" ] && exit  
 
url='/cgi-bin/awstats.pl?config='
 
#  
# Basic part
body="<li><a href=\"${url}all\"> All sites </a> </li>
  <li><a href=\"${url}ftp\"> Ftp usage </a> </li>
  <br />"
 
count_sites=2
 
# clients
for i in ${UPDATES}  
do
  body="${body}
  <li> <a href=\"${url}${i}\"> ${i} </a> </li>"
  count_sites=$(($count_sites + 1))
done
 
#
# Check if we already have new index file
[ -s $index ] && [ -n "`head -n 2 $index | grep "_count=${count_sites}_" `" ] && exit
 
# Make index file
cat > $index  <<-  _HTML_
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<?-- _count=${count_sites}_ -->
 
<html>
 
<head>
<meta http-equiv="Content-Type" content="text/html; charset=koi8-r">
 
<title>Welcome  to Webhosting Statictics Site!</title>
</head>
 
<body>
  <h3> Webhosting Statictics </h3>
  <b> Statisctics for : </b>
   
  ${body}
   
  <hr>
  <span dir="ltr" style="font: 11px verdana, arial, helvetica; color: #000000;">
  <b>Advanced Web Statistics 6.4 </b> - Created by awstats</a>
 
  </span>
  <br />
  \$: index.html,v 1.0 `date +'%Y/%m/%d %T'` freedom Exp $
</body>
</html>
_HTML_
 
#
echo ''
echo --- Generated  $index -- `date` --- >> $LOGS
 
#End.
 

Всего записей: 73 | Зарегистр. 07-12-2003 | Отправлено: 22:12 17-03-2006
doktor2

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ну если Вы так хорошо знаете AWStats, то возможно Вы знаете как использовать скрипт редиректа в "стандартной поставки AWStats" Скажем у меня некоторые внешние ссылки открываются вот так: http://awstats.moj-site.ru/cgi-bin/awredir.pl?url=http://nemoj-site.ru/
Все это конечно работает, только как "заставить" awstats смотреть статистику по переходам?, если конечно возможно.

Всего записей: 23 | Зарегистр. 01-08-2005 | Отправлено: 22:35 17-03-2006
roman5

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Для подсчета трафика (анализ логов Apache), который тратит сайт на моем веб-сервере установил webalizer.  
Но как я понял он показывает только исходящий трафик. Меня же интересует входящий на мой комп трафик, т.к. именно за него я плачу деньги (администратор сайта заливает через админку на сайт картинки, музыку, видео - я за это плачу деньги)  
Возможно ли это как-то реализовать. Если да то как?  
 
PS: не могу разобраться. В логе апача последняя цифра это кол-во байт, которые он отдал. А кол-во байт, которое он принял вообше нигде не фиксируется что ли?

Всего записей: 3 | Зарегистр. 21-04-2006 | Отправлено: 18:41 21-04-2006
Cheery



.:МордератоР:.
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
roman5

Цитата:
Меня же интересует входящий на мой комп трафик, т.к. именно за него я плачу деньги (администратор сайта заливает через админку на сайт картинки, музыку, видео - я за это плачу деньги)  
Возможно ли это как-то реализовать. Если да то как?  

Программы для учета трафика Internet в Windows
Программы для подсчёта/учёта трафика под Linux/UNIX/*BSD

Цитата:
А кол-во байт, которое он принял вообше нигде не фиксируется что ли?

нет, вот что там можно прописать
http://httpd.apache.org/docs/1.3/mod/mod_log_config.html#formats
для поста из запроса можно вытащить размер тела, как мне кажется.

----------
Away/DND

Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 21:30 21-04-2006 | Исправлено: Cheery, 21:31 21-04-2006
pushey

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Мы включили в вывод логов информацию по cookies. Нам необходимо,чтобы awstats выводил информацию по пользователям, подсчитанную по cookie. Содержимое лог файла:
 
2007-01-12 00:00:39 GET / - 193.110.229.82 HTTP/1.1 Opera/9.10+(Windows+NT+5.1;+U;+pl) http://www.somesite.com/ HANDPRINT=070112000039-1597 100 0
 
Нам надо считать колличество уникальных HANDPRINT=.
подскажите как это реализовать.

Всего записей: 11 | Зарегистр. 27-07-2006 | Отправлено: 12:36 15-01-2007 | Исправлено: pushey, 12:38 15-01-2007
VDMUS

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ребят, мне нужен анализатор лог-файлов для сервера Аппач, но с функцие просмотра реффереров по дням, т.е. я хочу видеть с каких ссылок люди зашли на мой сайт к примеру 2 февраля. ПОдскажите что-нибудь, пожалуйста. У самого стоит AWStats, там такой функции не нашёл...

Всего записей: 1 | Зарегистр. 21-05-2007 | Отправлено: 21:06 21-05-2007
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
всем привет. подскажите кто сможет подсчитать трафик - каким хостом сколько было скачано ?
помог только WrSpy - но он графики не умеет строить. да и с отчётами вроде не всё так удобно.
 
спасибо.

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 00:02 11-03-2008 | Исправлено: slech, 10:33 11-03-2008
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VDMUS
если посмотреть тут - то там модно смотреть по месяцам, но помоему там  что то прикручивали к AwStat.

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 23:21 11-03-2008
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Webspy Analysis and Reporting - кто -нибудь пробовал ?
 
тема в варезнике

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 19:16 21-08-2008 | Исправлено: slech, 19:24 21-08-2008
alexukua

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Что можете посоветовать для задачи:
Есть прокси-сервер squid  котрый работае как обратный прокси-сервер
Есть соотвествено два веб-сервера (Apache и IS 5) которые находятся за данным прокси
В логах squid  есть реальный IP откуда пришел пользователь, но нету рефера и нету другой полезной инфы  
например
1225293955.270     50 66.249.71.166 TCP_MISS/304 270 GET http://my.doamin/XXX/X/XX.pdf - DIRECT/192.168.7.7  
 
Лог апача соответсвено  
192.168.7.7 - - [29/Oct/2008:17:25:55 +0200] "GET /XXX/X/XX.pdf HTTP/1.0" 304 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"  
 
С помощю каких анализаторов возможно склеить эти логи, так чтобы в отчете было видно и реальный IP (а не внутренний) и версия клиента

Всего записей: 114 | Зарегистр. 01-03-2005 | Отправлено: 18:57 29-10-2008
Z4masko



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите наиболее функциональный (платный или бесплатный неважно) анализатиор логов Веб Сервера. Нужна например собрать статистику посещений URL адресов по IP
http://site.ru/index.php?act=refer1
http://site.ru/index.php?act=refer2
http://site.ru/index.php?act=refer3
http://site.ru/index.php?act=refer4
 
То есть нужно собрать статистику с каких Ip, как часто и т.п. переходили по этим ссылкам

----------
Ремонт АКПП Лексус (Lexus): RX 300, RX 330, RX 350, LX 470, GX 470, GS 300 ...

Всего записей: 735 | Зарегистр. 05-11-2004 | Отправлено: 02:49 29-01-2009 | Исправлено: Z4masko, 20:22 29-01-2009
JekaRus

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Подскажите как можно посмотреть количество загрузок конкретного файла. Установил вебализер, но не могу его на это настроить.

Всего записей: 1046 | Зарегистр. 10-08-2005 | Отправлено: 18:38 22-02-2009
hak7

Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Подскажите скрипт, которой буде виводить информацию из лог файла apache информацию скока запросов и из какого ip за последние 5минут.

Всего записей: 134 | Зарегистр. 16-07-2008 | Отправлено: 22:13 29-04-2009
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
вот нашёл интересную программу
 
http://spartanets.ru/logviewer/

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 00:04 08-05-2009
slech



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Top 10 Web Log Analysis Software
The Best Free Website Monitoring Tools
List of web analytics software
 
Добавлено:
из всего понравились
http://www.w3perl.com
http://piwik.org/

Всего записей: 4893 | Зарегистр. 10-11-2004 | Отправлено: 13:24 23-08-2009 | Исправлено: slech, 13:24 23-08-2009
koront

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Для ISA Server нашел http://www.atlasmonitor.ru  - отчеты по трафику пользователя через web - интерфейс. Очень простая программа.

Всего записей: 3 | Зарегистр. 10-09-2009 | Отправлено: 14:19 10-09-2009
Fader



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Может быть видел кто-нить на просторах инета некий рейтинг анализаторов?

Всего записей: 898 | Зарегистр. 03-01-2004 | Отправлено: 13:01 26-10-2009
dmitro1950



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В AWStats есть русский язык?

Всего записей: 329 | Зарегистр. 26-05-2003 | Отправлено: 14:30 30-11-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Анализатор лог файлов серверов - Servers Log Analyser


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru