Записки океанолога — обработка и визуализация данных

Задача: быстро анализировать данные, проверять догадки, создавая карты пространственного и временного распределения характеристик в различных комбинациях
�?нструмент: Ferret

Ferret — это интерактивная среда для визуализации и анализа больших наборов метеорологических и океанологических данных, то есть, он может работать с любыми гридированными данными, будь-то вывод моделей или спутниковые продукты. Работает ferret по утверждению создателей на всём, но под виндоуз вам придётся попотеть, чтобы его завести. Можно обрабатывать данные как находящиеся на вашем компьютере, так и данные лежащие в интернете при помощи протокола OPeNDAP. Ferret предлагает подход подобный тому, что используется в пакете Mathematica: новые переменные создаются интерактивно как математические выражения. Расчёты могут быть сделаны для произвольно выбранных районов.

Несмотря на то, что разработчики уверяют, что их детище производит иллюстрации качества пригодного для использования в научных публикациях, это, на мой взгляд, не так. Хоть некоторые действительно вставляют графику Ferret в свои работы, на мой взгляд до уровня PyNGL или GMT ей как до луны. Но, в роли инструмента для анализа ferret очень удобен и тут можно закрыть глаза на качество вывода. Для того, чтобы проверить свою гипотезу или взглянуть на то, не слишком ли далеко модель отдрейфовала от реальности, совсем не нужно располагать графикой высшего разряда, вполне достаточно адекватных картинок. Тут главное, чтобы вы могли создавать эти картинки быстро и интерактивно, а в этом ferret мало кому уступит первенство.

Установка ferret даже под Linux не совсем тривиальное занятие. Я не буду её описывать и отошлю вас к документации. Единственное, что скажу, так это под Ubuntu не пользуйтесь автоматическим созданием ferret_paths файла, просто впишите в него всё вручную. Есть ещё небольшой воркараунд на русском.

Для начала скачаем данные. Основной формат данных для ferret — это netCDF, хотя он понимает также ASCII и бинарные данные, которые в свою очередь также феретом могут быть преобразованы в netCDF. Возьмём данные реанализа по приземной температуре за 2008 год. Это netCDF файл в котором содержатся средне-дневные температуры за каждый день 2008 года. Поскольку качать вы будете этот файл позже меня, то количество дней у вас будет больше, не пугайтесь, это нормально 🙂

Запускаем ferret

Вас встречает приглашение командной строки вопросом «чего изволите» (многие думают что это переводиться как «чё надо?»). Мы изволим загрузить наши данные в ferret и посмотреть что они из себя представляют:

�?з строчки информации становится понятно, что в файле содержится одна переменная под именем AIR, что значения в этой переменной представляют собой среднюю температуру на таком-то уровне (на каком укрыто тайной, но на самом деле, это тоже что поверхность), что распределены они на сетке от 1 до 144 по долготе и от 1 до 73 по широте. Вертикальная координата K не занята, что значит у нас только один вертикальный уровень (в нашем случае поверхность). Координата L временная и на момент написания статьи файл содержал 339 дней.

Ну давайте, наконец уже, что-нибудь нарисуем:

Эта строка значит, что мы хотим посмотреть на данные в момент времени L=1. По идее должно всплыть X окошко и отобразить вам температуру воздуха на первое января 2008. Может случиться неприятность, когда ferret заругается на недостаточное количество памяти, скормите ему что-нибудь типа:

он должен успокоиться.
Окно с открывшейся картинкой ни в коем случае не закрывайте, теперь туда будет происходить ваш вывод, и если вы его закроете при следующей попытке вывести какую-нибудь графику ferret погибнет смертью храбрых. Поначалу преодолеть желание закрыть картинку, на которую уже посмотрел и всё про неё понял, довольно сложно.
Результат должен выглядеть примерно так:

Прямо скажем не красавец, но зато всё понятно и информативно. По подписям на графике, для создания которых мы и пальцем не пошевелили, понятно что это, откуда и зачем. Потом, найдя эту картинку в своих закромах вы не будете гадать, что же вы такое имели в виду, и откуда вообще данные взялись.

Температура в Кельвинах, это, конечно, хорошо и очень по-научному, но люди простые типа нас привыкли измерять температуру в Цельсиях, поэтому давайте исправим это небольшое недоразумение. Создадим новую переменную и отрисуем уже её (феррет не различает строчные и прописные, так что AIR и air для него одно и то же):

Но, конечно, нам не хватает очертаний материков, создадим их при помощи команды

Вот уже картинка, по которой можно ориентироваться с температурой в человеческих единицах измерения:

О функции GO надо сказать отдельно. При помощи неё запускаются скрипты ferret. Некоторые из них, такие как land, отрисовывающий очертания суши, доступны сразу и по умолчанию. Конечно, вы можете сами писать скрипты, расширение у них должно быть .jnl. Более того, после завершения ferret в той дирректории из которой вы его открыли, вы сможете найти .jnl файл, содержащий все команды, которые вы выполняли внутри ferret.

Давайте теперь на время оставим рисование и узнаем побольше о наших данных. Наша температура воздуха у поверхности расположена на сетке или гриде. То есть каждому значению температуры соответствует его широта, долгота, высота/глубина (в нашем случае постоянная — поверхность) и, наконец, время. Всё это и называется гридом, и чтобы посмотреть подробности о нём необходимо выполнить

Так мы видим, что долготы идут от 0 до -2.5, широты от -90 до 90, а время от 1 января 2008 до 4 декабря. Если интересна даты выпавшие на номера с 45 по 55, можно написать:

и вам в подробностях всё расскажут.
Это может пригодиться когда, вы решите сделать временное осреднение. Для этого вам нужно просто написать за какой временной диапазон вы хотите осреднить и вуаля, у вас уже средняя температура, скажем за первые 30 дней:

Как вы уже наверное поняли, делается это при помощи оператора @AVE. Не правда ли очень лаконичная запись того, для чего на фортране вам пришлось бы писать отдельную программу. При этом я добавил изолиний.

Если вы обратите внимание на заголовок, то увидите, что тут Ferret не совсем хорошо справился со своими обязанностями, и надписи наложились друг на друга. Тем не менее можно понять, что то, что показано это среднее за первые числа 2008го (ну и вторую половину 31 декабря 2007 мы захватили).

Мы можем произвести и более сложную операцию — давайте сделаем среднее за всё время, которое у нас есть и вычтем его из среднего за первый месяц. При этом используем ещё один вариант отображения — залитые изолинии.

Без проблем. Видно, что в январе в северном полушарии было холоднее чем в среднем за год (правда исключая почти весь декабрь), а в южном теплее:

�?ногда нам нужно посмотреть на несколько графиков одновременно, чтобы сравнить их друг с другом. Это достигается в ferret при помощи так называемых VIEWPORTS. В скрипте ниже продемонстрирована также возможность производить выборку не по индексам координат, а по их реальным значениям. Дело в том, что при помощи переменных I J K L можно обращаться к координате по её номеру, а X Y Z T по её реальным значениям. Это мы и используем при осреднении по времени:

Январь над территорией России был довольно холодным… При отрисовке картинки Ferret выбирает цветовую разбивку самостоятельно. Чтобы иметь возможность сравнивать картинки, нам, конечно, нужно их задать явно и сделать одинаковыми для всех карт. Параметры — минимум, максимум и шаг.

set view UL UR LL и LR определяют, что вывод будет производиться в верхний левый, верхний правый, нижний левый и нижний правый угол соответственно.

Если бы возможности Ferret ограничивались только отрисовкой площадных карт, то он не был бы таким интересным инструментом для анализа, но он может вольно обходиться с теми четырьмя измерениями, которыми располагает и позволяет быстро делать очень интересные вещи.

• Давайте снова создадим переменную, air_ave в которую поместим среднюю температуру за весь доступный нам период времени.
• Создадим ещё одну переменную, air_an которую определим как разность между airc и нашей средней температурой air_ave (это называется аномалия)
• Выберем для анализа долготу, при этом зададим её не индексом, а явно. То есть в нашем случае X=100 значит именно 100 градусов восточной долготы а не 100й элемент массива долгот.
• Выбираем для отрисовки широты от -70 до 70 (тоже в явном виде), все доступные нам дни (в принципе мы бы могли их опустить) и устанавливаем минимум, максимум и шаг легенды.

Этот скрипт для каждого дня и для широт между -70 и 70, на долготе 100, считает разницу между значениями в этот день и средним air_ave и отображает это дело на графике, где по абсциссе — время, а по ординате широты. Думаю, что даже я завтра не пойму смысл этого предложения, но в принципе ничего сложного тут нет, это аномалии температуры для долготы 100.

Результат:

Наглядная демонстрация того, о чём нам говорили в школе — в северном полушарии контраст между летом и зимой больше, плюс на данной долготе лето потеплее, а зима похолоднее опять же в северном полушарии.

Давайте это дело докажем ещё одним графиком

• Установим отношение сторон 0.4 чтобы наш график был подлиннее
• Создадим переменную NORTH, в которой будет среднее всех аномалий между 20 и 70 градусами северной широты
• SOUTH — то же только для южных широт
• �? плотим это дело за каждый день, обе переменных на одном графике.

Результат:

Надеюсь что этими несложными, но наглядными, примерами я убедил вас, что Ferret по крайней мере стоит хотя бы попробовать )