Работаем с метеоданными в Pandas
Задача: сконвертировать данные метеостанции по температуре для работы в pandas
?нструмент: pandas
Всё чаще российские метеорологические данные становятся открытыми, что не может не вызывать положительных эмоций. Однако к сожалению все центры данных стремяться придумать свой уникальный формат, и к сожалению каждый раз нужно мучаться с конвертацией.
В этой короткой заметке я покажу как сконвертировать метеоданные (температуру) полученные с сервера ВН??ГМ?-МЦД в pandas DataFrame.
Для начала вам нужно пойти на сайт http://aisori.meteo.ru/ClimateR и зарегистрироваться там. Затем можно будет войти по логину и паролю. Вам покажут объявления, смело жмите «Далее». Теперь вам предлагают начать выбирать данные. Вверху слева выберите «раздел БД». Если выберите «сроки», то получите в итоге полный набор метеопараметров измеряемых на метеостанциях каждые 8 часов. Это круто, конечно, но мы пришли только за температурой, поэтому выбираем «Сутки», а в меню «?сточник данных» — «TTTR — температура и осадки». Дальше выбираете необходимую вам метеостанцию (или несколько метеостанций). Мы будем работать с данными по Санкт-Петербургу, станция 26063. Жмём ОК.
Появится список параметров для включения в файл — оставляем всё как есть, только обязательно ставим галочку напротив «?спользовать разделитель «;»». Жмём ОК — вам покажут пример данных. Жмём «Упаковать и сохранить» и получаем наш файл, упакованный проприетарным архиватором rar, очень мило 🙂 В убунту rar распаковывается при помощи unrar
Открывать файл будем средствами самой pandas:
import numpy as np
%matplotlib inline # это если вы работаете в IPython notebook
index_col = 0, header=None )
Мы открываем данные при помощи read_table и заодно пытаемся распарсить время.
Как видите со временем не очень получилось. Pandas по какой то причине подавился данными начинающимися с 1881 года, хотя на других станциях, с измерениями начинающимися в 20м веке время отлично парсится влёт. Ну мы не унываем и сначала сгенерируем нужные нам даты вручную:
Тут вам, к сожалению, нужно будет знать когда ваши данные начинаются и когда заканчиваются, то есть посмотреть в начало и конец файлика. Последнюю дату задаём на день больше, чем ту, что последняя в вашем файле, потому что пандас последнюю указанную дату не включает в набор 🙂 Теперь заменяем индексы на сгенерированные нами даты:
Уже лучше, даты в порядке. Теперь убираем ненужные нам колонки с «качеством измерений»:
del data[8]; del data[10]; del data[12]; del data[13]
? переименовываем колонки:
Казалось бы всё теперь в порядке, и можно, например, нарисовать наши данные:
Но не тут то было. На эту команду вы получите ошибку «Empty ‘Series’: no numeric data to plot«. Поскольку несмотря на то, что вы цифры видите, их нет 🙂
' -1.5'
Это строки. ?х надо перевести в числа, но перед этим сделаем ещё одну вещь — заменим пустые значения на NaN. В данных по Питеру, с которыми мы работаем, пропусков нет — войны там, революции, голод или разруха, метеорологи на посту и делают измерения.
«Гвозди бы делать из этих людей:
Крепче бы не было в мире гвоздей.»
Но не всё так хорошо на каждой метеостанции, и пропуски бывают, и немалые, поэтому нам нужно пропуски превратить в NaNы.
А теперь конвертируем наши строки в числа:
В общем на этом всё, у вас в руках теперь данные по температуре (и до кучи ещё и по осадкам). Ниже пара примеров того, что с ними можно делать.
import numpy as np
from matplotlib import pyplot
plt = pyplot
import matplotlib
%matplotlib inline
sns.set(context='poster')
matplotlib.rc("lines", markeredgewidth=0.5)
ax = data.boxplot(column=['TMEAN'], by=u'месяц');
labels = [item.get_text() for item in ax.get_xticklabels()]
months = [u'Янв',u'Фев', u'Мар', u'Апр', u'Май', u'?юнь', u'?юль', u'Авг', u'Сен', u'Окт', u'Ноя', u'Дек']
labels[:] = months
ax.set_xticklabels(labels);
plt.title(u'Средняя температура воздуха в Санкт-Петербурге (1881-2013)');
data_year[:'2012'].TMEAN.plot()
plt.title(u'Среднегодовая средняя температура воздуха в Санкт-Петербурге (1881-2013)');
plt.title(u'Средняя температура воздуха в Санкт-Петербурге (1940-1945)');
Николай, я много работаю с массивами ВН??ГМ?-МЦД. У них нет пропусков между датами, то есть число записей точно совпадает с числом дней в заявленный период (для суточных данных). Отсюда вопрос — pandas будет «жевать» данные с наличием таких пропусков?
Я пользуюсь «нампай»-ем для работы с данными и накладываю на пропуски маску (np.genfromtxt).
@Павел
Я возможно недостаточно ясно выразился. Под пропусками я подразумеваю отсутствие измерений, то есть отсутствие значений температуры, или другого параметра в для определённой записи. В этом случае при импорте получается строка ‘ ‘, для борьбы с которой я и делаю:
data = data.replace(‘ ‘, np.nan, regex=True)
то есть заменяю пропуски (в моём их понимании) на наны, с которыми пандас может уже корректно работать.
Да, я понял. А есть какой-нибудь рецепт для синхронизации данных из файла и заданного массива дат (dates=pd.date_range(‘1881-01-01′,’2013-04-01’)), если они не совпадают по длине? Такой фишки пока не придумали? ЧТобы можно было указать нужные столбцы (скажем, [0,1,2] — [год, месяц, день]), и pandas сам синхронизировал их с заданым массивом dates, а на место пропущенных сроков-дней вставлял бы признак пропуска.
Я вот знаю что в питоне даты начинаются с 1970-го года: time.gmtime(0). Может поэтому pandas не захотел с 19-м веком работать?