Записки океанолога — обработка и визуализация данных

Задача: сконвертировать данные метеостанции по температуре для работы в pandas
�?нструмент: pandas

Всё чаще российские метеорологические данные становятся открытыми, что не может не вызывать положительных эмоций. Однако к сожалению все центры данных стремяться придумать свой уникальный формат, и к сожалению каждый раз нужно мучаться с конвертацией.

В этой короткой заметке я покажу как сконвертировать метеоданные (температуру) полученные с сервера ВН�?�?ГМ�?-МЦД в pandas DataFrame.

Для начала вам нужно пойти на сайт http://aisori.meteo.ru/ClimateR и зарегистрироваться там. Затем можно будет войти по логину и паролю. Вам покажут объявления, смело жмите «Далее». Теперь вам предлагают начать выбирать данные. Вверху слева выберите «раздел БД». Если выберите «сроки», то получите в итоге полный набор метеопараметров измеряемых на метеостанциях каждые 8 часов. Это круто, конечно, но мы пришли только за температурой, поэтому выбираем «Сутки», а в меню «�?сточник данных» — «TTTR — температура и осадки». Дальше выбираете необходимую вам метеостанцию (или несколько метеостанций). Мы будем работать с данными по Санкт-Петербургу, станция 26063. Жмём ОК.

Появится список параметров для включения в файл — оставляем всё как есть, только обязательно ставим галочку напротив «�?спользовать разделитель «;»». Жмём ОК — вам покажут пример данных. Жмём «Упаковать и сохранить» и получаем наш файл, упакованный проприетарным архиватором rar, очень мило 🙂 В убунту rar распаковывается при помощи unrar

Открывать файл будем средствами самой pandas:

Мы открываем данные при помощи read_table и заодно пытаемся распарсить время.

Как видите со временем не очень получилось. Pandas по какой то причине подавился данными начинающимися с 1881 года, хотя на других станциях, с измерениями начинающимися в 20м веке время отлично парсится влёт. Ну мы не унываем и сначала сгенерируем нужные нам даты вручную:

Тут вам, к сожалению, нужно будет знать когда ваши данные начинаются и когда заканчиваются, то есть посмотреть в начало и конец файлика. Последнюю дату задаём на день больше, чем ту, что последняя в вашем файле, потому что пандас последнюю указанную дату не включает в набор 🙂 Теперь заменяем индексы на сгенерированные нами даты:

Уже лучше, даты в порядке. Теперь убираем ненужные нам колонки с «качеством измерений»:

�? переименовываем колонки:

Казалось бы всё теперь в порядке, и можно, например, нарисовать наши данные:

Но не тут то было. На эту команду вы получите ошибку «Empty ‘Series’: no numeric data to plot«. Поскольку несмотря на то, что вы цифры видите, их нет 🙂

Это строки. �?х надо перевести в числа, но перед этим сделаем ещё одну вещь — заменим пустые значения на NaN. В данных по Питеру, с которыми мы работаем, пропусков нет — войны там, революции, голод или разруха, метеорологи на посту и делают измерения.

«Гвозди бы делать из этих людей:

Крепче бы не было в мире гвоздей.»

Но не всё так хорошо на каждой метеостанции, и пропуски бывают, и немалые, поэтому нам нужно пропуски превратить в NaNы.

А теперь конвертируем наши строки в числа:

В общем на этом всё, у вас в руках теперь данные по температуре (и до кучи ещё и по осадкам). Ниже пара примеров того, что с ними можно делать.