Записки океанолога – обработка и визуализация данных

Задача: Открыть файл формата netCDF в MATLAB
Решение: чистый незамутненный MATLAB

Постараюсь описать здесь ответ на этот животрепещущий вопрос, чтобы было куда отправлять страждущих с различных форумов. Начиная с версии 7.7, Matlab поддерживает работу с форматом netCDF нативно, без различных примочек, которые требовались раньше. Синтаксис, который используется для работы с netCDF файлами довольно странный, ну да, не мне судить. Здесь я опишу, как в Matlab совершить одно простое действие, а именно прочитать данные из файла.
Read more »

Задача: перевести Индекс Северо-Атлантической Осциляции (NAO) из ASCII в netCDF формат
Решение: используем модули Python - PyNio, numpy, time

Индексом NAO (а также его близким родственником AO) пользуется огромное количество народа, но найти его в netCDF формате мне не удалось. Пришлось делать самому. Кому нужен просто файлик - вот он NAO index in netCDF format (up to 2011.04). Кто хочет посмотреть на очередной пример использования Nio для создания netCDF файла, велкам под кат.
Read more »

В предыдущих частях (раз, два) мы рассмотрели компиляцию модели и подготовку к ее запуску. В этой части мы наконец-то заставим модель работать.
Read more »

Итак, благодаря первой части нашего рассказа, вы продрались сквозь тернии настроек модели, все правильно сделали при компиляции и в итоге получили файл с экзешником модели - mitgcmuv. Скомпилировать модель только пол дела, теперь нужно заставить ее работать.
Read more »

Задача: Заставить работать MITgcm, одну из лучших океанологических моделей на данный момент, под Ubuntu 10.10
Решение: оказалось не таким уж сложным.

Раньше моделирование океана и атмосферы было уделом горстки избранных. Чем-то это напоминало ситуацию с Линуксом конца 90х годов - разобраться было можно, но сложно. Те времена давно прошли, и как Линукс теперь доступен для средних умов, так и заставить работать свою гидродинамическую модель океана может практически каждая домохозяйка, было бы желание.

Документация у модели, про которую я буду рассказывать в этом посте довольно хорошая и объемная. Но этот объем является как преимуществом, так и недостатком, поскольку у новичка разбегаются глаза, и с чего начать бывает не понятно. Здесь я, по-возможности, расскажу как скомпилировать модель, и запустить на ней простейший эксперимент, а также немного пролью свет на то, где в каких файлах нужно что подкрутить, чтобы модель работала так как вам нужно. Возможности дальнейшей настройки огромны и ограничиваются практически только вашей фантазией и доступными вычислительными ресурсами.
Read more »

Задача: выбрать из массива данных только данные удовлетворяющие условию и сделать с ними какую ни-будь гадость
Решение: numpy.where

Слухи о тормознутости Python сильно преувеличены, просто нужно уметь его готовить. Конечно скорости C или Fortran вы на нем не добьетесь, но и его вполне можно заставить быстро обрабатывать огромные массивы информации. Если вы хотите считать быстро, то ваш враг номер один в Python (также как и в MATLAB, кстати) это циклы, заданные в явном виде (оператор for). От большинства из них можно избавиться, применяя нехитрые приемы. Об одном таком приеме, позволившем увеличить скорость обработки массива размером более 100 гигабайт в 46 раз, я очень коротко расскажу в этом посте.
Read more »

Задача: смотреть файлы с компьютера на телевизоре Samsung по сети.
Решение: Медиа сервер MediaTomb

Если у вас имеется домашняя сеть и современный телевизор, бегать с дисками и флешками от компьютера, при помощи которого вы скачиваете файлы к телевизору совершенно не обязательно. Чудеса техники позволяют вам просматривать видео по сети прямо с компьютера. Для этого необходимо чтобы на компьютере бежал медиа сервер, и в случае с телевизорами Samsung, такой медиа сервер предоставляется производителем. Однако самсунговский PC Share Manager работает только под самую популярную операционную систему :) У пользователей альтернативной системы все же есть возможность воспользоваться плодами прогресса и минимизировать беготню между компьютером и телевизором.

Я этом посте я приведу простую последовательность действий которая позволит установить и настроить MediaTomb под Ubuntu. Этот рецепт проверен на Ubuntu 10.10 и телевизоре Samsung LE37C650, думаю что он будет работать и для других современных телевизоров этой фирмы.

Read more »

Задача: проводить манипуляции с файлами формата netCDF, в том числе осреднение и выборку по различным осям, установку временной оси, интерполяцию полей, объединение и разделение файлов.
Инструмент: CDO (Climate Data Operators)

Причина, по которой я так долго тянул с постом о cdo, наверное в том, что они настолько незаметны и настолько часто мной используются, что я практически забываю об их существовании, воспринимая больше просто как некие обычные команды шела. Однако без них жизнь человека работающего с netCDF (а также GRIB) файлами становится гораздо неуютнее. На сегодняшний день существует около 400 операторов, позволяющих проводить первичную обработку файлов. Как бы я не любил Python, поручить ему обработку террабайтов информации значит обречь себя на очень долгое ожидание, тогда как cdo, написанные на C++, справляются с крупномасштабными задачами сравнительно быстро, при этом обладают очень простым для понимания синтаксисом.

В посте я расскажу об установке CDO под Ububtu 10.04 и Windows (да, они есть и под винду) покажу как пользоваться несколькими наиболее популярными их функциями.
Read more »

Недавно я стал счастливым обладателем HTC Desire, телефона на платформе Android. Но про этот телефон уже столько всего понаписано, что добавлять свои пять копеек смысла особого не имеет. Вместо этого я расскажу об Android приложении, которое вооружит вас против скептиков, сомневающихся в глобальном потеплении.

Практически на любой их аргумент вы почти мгновенно сможете представить если не полноценную научно популярную заметку, то как минимум список публикаций по теме. К слову есть подобные приложения для iPhone и Nokia, так что владельцы альтернативных платформ также имеют возможность при случае блеснуть интеллектом.

Read more »

Давно порывался написать про сервис которым пользуюсь уже на протяжении более двух лет, и который за это время стал неотъемлемой частью моего рабочего процесса. Это сайт CiteULike.org , который представляет собой в первую очередь средство для организации библиографических ссылок, но также может служить как хранилище персональных копий статей в pdf, обладает некоторыми социальными функциями.

Я тут опишу только тот функционал которым сам пользуюсь. Сайт развивается очень активно (думаю не в малой степени потому что не так давно он стал поддерживаться издательством Springer) и часто появляется новый функионал,  в последнее время все больше направленый на развитие именно социальной составляющей сервиса, которую я пока не очень освоил.  Так что рассказ будет посвящен в основном работе с библиографией и призван заинтересовать и помочь начать входить во вкус :)

Read more »