yahi

yahi є універсальним парсер журналу надання екстрактори замовчуванням для Apache / Lighttpd.
Використання командного рядка
Приклад даних проаналізованих з yahi: http://wwwstat.julbox.fr/
Найпростіший використовується так:
speed_shoot -g / USR / місцеві / дані / Geoip / Var / WWW / Apache / доступ * журнал
він буде повертати JSON у вигляді:
{
І NBSP; "by_date": {
І NBSP; "2012-5-3": 11
І NBSP;},
І NBSP; "total_line": 11,
І NBSP; "ip_by_url": {
І NBSP; "/ favicon.ico": {
І NBSP; "192.168.0.254": 2,
і NBSP; "192.168.0.35": 2
І NBSP;},
І NBSP; "/": {
І NBSP; "74.125.18.162": 1,
І NBSP; "192.168.0.254": 1,
і NBSP; "192.168.0.35": 5
І NBSP;}
І NBSP;},
І NBSP; "by_status": {
І NBSP; "200": 7,
І NBSP; "404": 4
І NBSP;},
І NBSP; "by_dist": {
І NBSP; "невідомо": 11
І NBSP;},
І NBSP; "bytes_by_ip": {
І NBSP; "74.125.18.162": 151,
І NBSP; "192.168.0.254": 489,
І NBSP; "192.168.0.35": 1093
І NBSP;},
І NBSP; "by_url": {
І NBSP; "/ favicon.ico": 4,
І NBSP; "/": 7
І NBSP;},
і NBSP; "by_os": {
І NBSP; "невідомо": 11
І NBSP;},
І NBSP; "week_browser": {
І NBSP; "3": {
І NBSP; "невідомо": 11
І NBSP;}
І NBSP;},
І NBSP; "by_referer": {
І NBSP; "-": 11
І NBSP;},
І NBSP; "by_browser": {
І NBSP; "невідомо": 11
І NBSP;},
І NBSP; "by_ip": {
І NBSP; "74.125.18.162": 1,
І NBSP; "192.168.0.254": 3,
і NBSP; "192.168.0.35": 7
І NBSP;},
І NBSP; "by_agent": {
І NBSP; "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; колесах: 12.0) Gecko / 20100101 Firefox / 12.0, GZIP (GFE) (через translate.google.com)": 1,
І NBSP; "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; колесах: 12.0) Gecko / 20100101 Firefox / 12.0": 10
І NBSP;},
І NBSP; "by_hour": {
І NBSP; "9": 3,
І NBSP; "10": 4,
І NBSP; "11": 1,
І NBSP; "12": 3
І NBSP;},
І NBSP; "by_country": {
І NBSP; "": 10,
І NBSP; "США": 1
І NBSP;}
}
Якщо ви використовуєте:
speed_shoot -f CSV -g / USR / місцеві / дані / Geoip / Var / WWW / Apache / доступ * журнал
Ваш результат:
by_date, 2012-5-3,11
total_line, 11
ip_by_url, / favicon.ico, 192.168.0.254,2
ip_by_url, / favicon.ico, 192.168.0.35,2
ip_by_url, / 74.125.18.162,1
ip_by_url, / 192.168.0.254,1
ip_by_url, / 192.168.0.35,5
by_status, 200,7
by_status, 404,4
by_dist, невідомо, 11
bytes_by_ip, 74.125.18.162,151
bytes_by_ip, 192.168.0.254,489
bytes_by_ip, 192.168.0.35,1093
by_url, / favicon.ico, 4
by_url, / 7
by_os, невідомо, 11
week_browser, 3, невідомий, 11
by_referer, -, 11
by_browser, невідомо, 11
by_ip, 74.125.18.162,1
by_ip, 192.168.0.254,3
by_ip, 192.168.0.35,7
by_agent, "Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; колесах: 12.0) Gecko / 20100101 Firefox / 12.0, GZIP (GFE) (через translate.google.com)", 1
by_agent, Mozilla / 5.0 (X11; Ubuntu; Linux x86_64; колесах: 12.0) Gecko / 20100101 Firefox / 12.0,10
by_hour, 9,3
by_hour, 10,4
by_hour, 11,1
by_hour 12,3
by_country ,, 10
by_country, US, 1
Ну, я думаю, він не працює, тому що ви спочатку потрібно отримати файл даних GeoIP:
Wget -O- "http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz" | zcat> /usr/local/data/GeoIP.dat
Звичайно, це база даних Geolite, я не включають дані в пакеті з Geoip повинні бути оновлені часто, щоб залишитися точною.
Шлях за замовчуванням для Geoip це дані / GeoIP.dat
Використовувати як скрипт
Швидкість зйомки, насправді шаблон, як використовувати yahi як модуль:
#! / USR / бен / ENV пітон
від імпорту archery.bow HANKYU як _dict
від yahi паз імпорту, стріляти
від DateTime DateTime імпорту
контекст = паз ()
date_formater = лямбда DT: "% s-% s-% S"% (dt.year, dt.month, dt.day)
context.output (
І NBSP; зйомці (
І NBSP; контекст,
І NBSP; лямбда дані: _dict ({
І NBSP; 'by_country': _dict ({дані ['_ країна']: 1}),
І NBSP; 'by_date': _dict ({date_formater (дані ['_ Дата і час']): 1}),
І NBSP; 'by_hour': _dict ({. Дані ['_ Дата і час'] годину: 1}),
І NBSP; 'by_os': _dict ({дані ['_ os_name']: 1}),
І NBSP; 'by_dist': _dict ({дані ['_ dist_name']: 1}),
І NBSP; 'by_browser': _dict ({дані ['_ browser_name']: 1}),
І NBSP; 'by_ip': _dict ({дані ['ф']: 1}),
і NBSP; 'by_status': _dict ({дані ['положення']: 1}),
І NBSP; 'by_url': _dict ({дані ['URI']: 1}),
І NBSP; 'by_agent': _dict ({дані ['агент']: 1}),
І NBSP; 'by_referer': _dict ({дані ['REFERER']: 1}),
І NBSP; 'ip_by_url': _dict ({дані ['URI']: _dict ({дані ['IP']: 1})}),
І NBSP; 'bytes_by_ip': _dict ({даних ['IP']: INT (дані ['байт'])}),
І NBSP; 'week_browser' :. _dict ({Дані ['_ Дата і час'] будній день ():
І NBSP; _dict ({дані ["_ browser_name"]: 1})}),
І NBSP; 'total_line': 1,
І NBSP;}),
І NBSP;),
)
Установка
просто, як:
пункт встановити yahi
або ж:
easy_install yahi
Рекомендовані використання
- Для основних агрегації журналу, я Recommand за допомогою командного рядка;
- За один метрик пострілу я рекомендую інтерактивну консоль (bpython або IPython);
. - Для конкретних показників або складних фільтрів я Recommand за допомогою API

Вимоги

• Python