Записки океанолога — обработка и визуализация данных

Задача: взять данные, которые распространяются в виде жуткой кучи бинарников и сделать из неё один красивый, легко обрабатываемый файл netCDF
�?нструмент: NCL

В незапамятные времена, когда интернет у всех был медленным и дисковое пространство было на вес золота, королём форматов для распространения данных был, так называемый, бинарный формат. Это обычная последовательность нулей и единиц, которая не содержит в себе никакой информации о данных находящихся внутри. Чтобы «расшифровать» его вам нужно добыть информацию о структуре файла, о порядке байтов (endianness), о типе данных (float, integer), о том не умножены ли данные на какое-нибудь значение, что за единицы измерения используются, что за координаты, за какую дату и время эти данные и так далее и тому подобное. Геморрой. Единственное достоинство бинарного формата это размер получающихся файлов, он сравнительно мал.

Прогресс не стоял на месте и были изобретены, так называемые, self-describing форматы, одним из которых является netCDF. Преимущество этих форматов в том, что вам не надо пытать создателей файлов для того, чтобы получить информацию о его содержании, в идеале вся необходимая информация должна уже содержаться в самом файле. Это позволяет создавать приложения однообразно работающие с различными данными представленными в self-describing форматах, а не заново изобретать велосипед для каждого нового бинарника.

Размер файлов netCDF больше чем бинарных, но если это было очень важным в 90е, то в 2000х большинству нет разницы качать один или два мегабайта, телефонные модемы постепенно вымирают и слава богу. Тем не менее, некоторые несознательные граждане продолжают предоставлять данные в бинарном формате, то-ли по привычке, то-ли ленясь изменять схемы обработки, работающие с 90х (работает, не трогай). Ещё одной причиной может быть то, что создание правильного netCDF файла это не самая простая задача (в отличии от его чтения).

Далее я приведу код для довольно простого создания netCDF файла из бинарных при помощи языка программирования для наук о Земле NCL о котором я рассказывал в одном из предыдущих постов.

Обрабатывать будем данные по концентрации морского льда в Северном Ледовитом океане, описание которых расположено тут http://nsidc.org/data/docs/daac/nsidc0051_gsfc_seaice.gd.html

Файлы, с которыми мы будем работать, это бинарники, тип данных byte, размер 304 columns x 448 rows. Это не совсем клинический случай бинарников, поскольку некое описание у них всё таки имеется в первых 300 байтах. Нам оно не нужно, поэтому придётся его вырезать. Сами значения нужно поделить на 250 для того, чтобы получить концентрацию льда (от нуля до единицы). Всё что больше единицы — missing values.

Сетка, на которой сидят наши данные, нерегулярная, поэтому нужны массивы с широтами и долготами для каждой точки. Они также упрятаны в бинарники, которые можно скачать отсюда ftp://sidads.colorado.edu/pub/DATASETS/seaice/polar-stereo/tools/ Файлы psn25lats_v2.dat и psn25lons_v2.dat. Значения хранятся в 4-byte integers (little endian) и ко всему умножены на 100000 (то есть нам надо поделить 🙂 ). Размерность, естественно, такая же как у самих данных 304 columns x 448 rows.

Вот эту кучу нам предстоит разгрести и создать из неё нормальный netCDF файл.

Диспозиция должна быть следующей. В папке с .ncl скриптом должны находиться файлы psn25lats_v2.dat и psn25lons_v2.dat . �?сходные бинарники должны лежать по отношению к папке со скриптом в ./data/year . Где year — папка в которой лежат файлы за определённый год.
Скачивать файлы по одному слава богу нет необходимости, поскольку сервер NSIDC поддерживает tar-on-the-fly и схема закачки, например 1998 года будет следующей

Большое спасибо Маше Цукерник из NCAR, которая предоставила мне основу для данного скрипта. Вот собственно и он

Построчно разбирать скрипт у меня нет ни сил ни желания 😉 Если будут какие-то непонятные моменты, спрашивайте в комментариях, попробую пояснить. В принципе важные вещи откомментированы и не должны вызвать больших затруднений, плюс у NCL отличная документация, к которой всегда можно обратиться и выяснить, что делает та или иная функция.

В итоге, мы получаем файл out.nc содержащий в себе ежедневную концентрацию морского льда в Арктике за 1998 год. Метаданные в нём минимальные, их можно посмотреть сделав ncdump -h out.nc

Но, этой информации достаточно для того, чтобы просматривать файл в самом распространённом просмотрщике netCDF — ncview.

�?ли посчитать среднемесячные значения при помощи cdo

Надеюсь, что вы сможете модифицировать этот скрипт для ваших данных и сделать свой вклад в изживание бинарников со свету и приумножение netCDF файлов! )