Анализ логов Apache при помощи Pandas и IPython notebook
Потихоньку осваиваю Pandas, питоновский модуль для анализа данных. В процессе сделал довольно подробный ноутбук с примером анализа логов доступа Apache. Цель я преследовал больше образовательную, чем практическую, так что не знаю насколько анализ сделанный там пригодится мне в реальной жизни 🙂
Полностью ноутбук сюда не стал выкладывать по двум причинам: он на английском, а переводить мне пока лень, и я не до конца разобрался как красиво перенести ноутбук в вордпресс, делать это полностью вручную, как с прошлым постом, довольно глупо, долго и выглядит в итоге довольно страшно. Пост с примерами работы в Pandas для новичков надеюсь написать в ближайшем будущем.
А мне никак не удается заставить Python встраивать рисунки из matplotlib. Если ввести %pylab inline, получаю ошибку:
ValueError: Invalid GUI request u’inline’, valid ones are:[‘osx’, ‘qt4’, ‘glut’, ‘gtk3’, ‘pyglet’, ‘wx’, ‘none’, ‘qt’, ‘gtk’, ‘tk’, None]
В предыдущим комментарии имеется в виду iPyhon.
Все, понял, встраивание работает только для notebook’ов. ?звиняюсь за заспамливание комментариев. 🙂
Странно. А если запускать ноутбук командой ipython notebook —pylab и не выполнять в ноутбуке %pylab inline ?
2Jenyay
Не только, есть ещё Qt консоль, там тоже должно работать.
Коля, спасибо за статью(было бы просто супер будь она на русском). Очень познавательно. ? зря думаете, что в реальной жизни не пригодиться. Связка:грамотно настроенный лог-сервер(естественно на linux) анализ этих данных теперь дополнилась и возможностью визуализации (насколько я понимаю, вариация ограничена только фантазией кодера). Тут Вам и график пиковых нагрузок на сервера (с условием, что логи собираются на отельный лог-сервер), и критические события, и проч.
Pandas — сильная и интересная штука. ? статьи об этой библиотеке на родном языке были бы очень даже кстати. Пишите о родной Вам океанологии, а интересующиеся люди интерпритируют Ваши слова в русло других дисциплин 🙂
P.S. Жаль, что Python for Data Analysis не переведут…
Николай, после серии ваших постов про ipython notebook решил попробовать этого «зверя» на вкус. Я работаю с python из-под Windows 7/8 с помощью winpython. В целом разобрался с ipython notebook, но осталось несколько вопросов.
1) Как вы публикуете результаты notebook-а? Вы сохраняете ноут в html и выкладываете? ?ли по-другому?
2) При публикации html версии ноутбука картинки не отображаются =(. Пример:
http://geofortran.blogspot.ru/2013/09/ipython-notebook-ipython3-python3322.html
Вы с таким сталкивались? Как с этим бороться?
2Павел
В данный момент самый простой вариант, это выкладывать ноутбук в его родном формате на какой ни будь сервис типа gist или github, ввести этот адрес в http://nbviewer.ipython.org/ и получить от него ссылку, в котором ноутбук уже будет отрендерен.
Проблема тут в том, что ноутбук будет отображаться на чужом сайте, а не на вашем любимом. Сейчас у ноутбука версии 1.0 и выше существует встроенный конвертер, который должен нормально переводить ваши результаты в html, но при этом сохраняется также css, которая необходима для красивого отображения ноутбука. После чего в случае вордпресса нужно как то скрещивать ваш css с этим ноутбуковским, чтобы всё отображалось правильно. Я поскольку в этих делах практически совсем не разбираюсь жду пока кто ни будь добрый напишет конвертер для вордпресса, мне не к спеху 🙂
Спасибо! Разобрался как заливать на http://nbviewer.ipython.org/. У меня возник вопрос: а поисковики (Google, Яндекс, Yahoo) находят выложенные таким образом ноутбуки?
2Павел
Гугл находит, насчёт остальных не уверен 🙂
Спасибо! =)