Записки океанолога — обработка и визуализация данных

Задача: проводить манипуляции с файлами формата netCDF, в том числе осреднение и выборку по различным осям, установку временной оси, интерполяцию полей, объединение и разделение файлов.
�?нструмент: CDO (Climate Data Operators)

Причина, по которой я так долго тянул с постом о cdo, наверное в том, что они настолько незаметны и настолько часто мной используются, что я практически забываю об их существовании, воспринимая больше просто как некие обычные команды шела. Однако без них жизнь человека работающего с netCDF (а также GRIB) файлами становится гораздо неуютнее. На сегодняшний день существует около 400 операторов, позволяющих проводить первичную обработку файлов. Как бы я не любил Python, поручить ему обработку террабайтов информации значит обречь себя на очень долгое ожидание, тогда как cdo, написанные на C++, справляются с крупномасштабными задачами сравнительно быстро, при этом обладают очень простым для понимания синтаксисом.

В посте я расскажу об установке CDO под Ububtu 10.04 и Windows (да, они есть и под винду) покажу как пользоваться несколькими наиболее популярными их функциями.

Репозиторий с файлами находится по этому адресу.

Windows

Виндузятники могут скачать экзешник и практически начинать пользоваться cdo, никакой установки как таковой не требуется, главное, чтобы cdo.exe находился в той директории где вы планируете обрабатывать свои данные. Операторы и опции одинаковы для Windows и Linux версий.

linux (Ubuntu 10.04)

При этом устанавливается сравнительно старая версия cdo — 1.4.0.1, но для большинства приложений ее должно быть достаточно. Если вы хотите версию поновее, то придется компилировать ее самостоятельно. Приятным дополнением к cdo является пак с необходимыми библиотеками, которые должны в идеале компилироваться одной командой. Называется он libs4cdo и находится в том же репозитории, что и основная программа, а тут лежит документация по lib4cdo.

Скачиваем файлы

Вы можете попробовать работать сразу с имеющимися у вас файлами, но если хотите для начала следовать всем командам в этом небольшом туториале буквально, то скачайте пять файлов содержащих ежедневные данные по приземной температуре (NCEP реанализ) с этой странички. Я буду использовать года с 1990 по 1994.

�?спользование cdo

�?спользование предельно просто. Чаще всего вы сначала вводите команду «cdo«, затем оператор, файл который необходимо обработать и, наконец, файл, в который будут записаны результаты работы. В более общем случае синтаксис выглядит как:

Вы видите, что операторы можно комбинировать, мы к этому еще вернемся.

Получаем информацию о файле

Давайте для начала посмотрим, что содержится в наших файлах. Наберем:

Получим краткую информацию о файле:

Видим, что наш файл содержит наборы матриц размером 144 (долгота) на 73 (широта), шаг по широте и долготе составляет 2.5 градуса. Значения приведены только для поверхности за 365 дней. Ниже вы видите перечисление конкретных дат, на которые представлены поля. Конечно, оператор sinfo не единственная возможность узнать подробности о вашем файле. Например оператор nmon выдаст вам информацию о количестве месяцев, за которые имеются данные в файле, а showmon покажет что это за месяцы. Эти операторы необходимы больше не для вашей информации, а для написания более сложных скриптов обработчиков, в которые необходимые значения могут передаваться автоматически.

Объединение и разделение файлов

Для начала давайте сделаем из пяти наших файлов один, причем объединим их по времени:

для тех кто не знаком с шаблонами поясню, это в общем то же самое что:

В итоге получаем файл, в котором содержатся ежемесячные значения для пяти лет (вы можете это проверить выполнив оператор sinfo для файла air.sig995.1990-1994.nc). Для чего это может быть нужно? Например, теперь вы хотели бы получить отдельные файлы, в каждом из которых содержались бы значения только за определенный месяц за все пять лет. Для этого существует команда splitmon

в итоге вы получаете 12 файлов, в каждом значения для одного месяца. Точно также можно разделять по часам, дням, сезонам, годам (в этом случае получатся файлы идентичные нашим изначальным).

Выборка

Вернемся к нашему объединенному файлу. Допустим нам необходимо вытянуть из него лишь несколько месяцев. Можно, конечно, сначала создать отдельный файл для каждого месяца, а затем соединить те что нужны, но есть другой, более простой способ. Вы можете выбрать нужные вам месяцы:

в этом случае январь, март, сентябрь. Примерно также вы можете выбирать нужные вам года, переменные, уровни. Если вас, например, интересует только Арктика, вместо того чтобы ворочать файлами для всего глобуса, вы можете выбрать только интересующую вас область при помощи команды sellonlatbox .

Продолжение в следующем посте 🙂