Об авторе
Коля Колдунов
http://www.ifm.zmaw.de/mitarbeiter/dr-nikolay-koldunov/
Связаться можно через koldunovn@gmail.com
Twitter http://twitter.com/koldunovn
Google profile http://www.google.com/profiles/koldunovn
Также участвую в проектах:
Коля Колдунов
http://www.ifm.zmaw.de/mitarbeiter/dr-nikolay-koldunov/
Связаться можно через koldunovn@gmail.com
Twitter http://twitter.com/koldunovn
Google profile http://www.google.com/profiles/koldunovn
Также участвую в проектах:
Здравствуйте! Меня зовут Наиль, я автор
очень молодого проекта MacPages (www.macpages.ru), к
сожаленю не знаю как к вам обращаться.
Во-первых, хотел бы спросить разрешения
публиковать ваши новости и статьи(про мак) на своем
проекте(ссылка на koldunov.net прилагается).
А также предлагаю вам
зарегистрироваться на проекте и принимать
участие, проект не коммерческий и не
планируется как конкурент koldunov.net и
другим интересным блогам рунета.
Спасибо за внимание! Надеюсь на
сотрудничество.
Здравствуйте, Наиль. Материалы берите, без проблем, но должна присутствовать активная ссылка на koldunov.net
wow!
Здравствуйте, Николай. В поисках информации по Generic Mapping Tools набрел на ваш ресурс и обнаружил, что GMT — не такая уж и популярная среда построения графиков. Заинтересовался Питоном, тем более, что Вы его позиционируете (если я правильно понял) как язык для научных задач. В связи с этим вопрос — не сравнивали ли Вы его в Фортраном? ?ли, быть может, располагаете информацией о подобных сравнениях?
Бегло поглядев в сети на предмет «fortran vs puthon» сделал вывод, что из главных плюсов питона народ выделяет удобочитаемость, а у фортрана — скорость. Вот сижу и пытаюсь оценить — стоит ли вникать в тонкости питона ради одних только графиков.
Хотелось бы узнать Ваше мнение. Заранее — спасибо! 🙂
2?лья
GMT — не популярна в России, на западе многие ими с удовольствием пользуются. Правда это не среда для построения графиков, она для отображения гео информации, то есть на карте что нить нарисовать. Обычные графики ими строить это не нужный никому геморой. По моему опыту это верно, кстати, и для PyNGL (который, к слову, основан на фортрановских библиотеках NCL), есть гораздо более простые способы.
Питон в моем work flow практически заменил Matlab, и я его позиционирую именно как свободную замену матлабу (python scipy numpy matplotlib). Я знаю теперь уже очень не много людей которые пишут программы для обработки данных на Фортране и на их код смотреть без содрогания сложно, настольно там много на мой взгляд не нужного. Сейчас для обработки применяют в основном Матлаб и шел скрипты со спец утилитами. Фортран, по крайней мере в нашей области, остается языком для написания климатических моделей, поскольку код наработанный за сорок лет просто так не выкинешь. Для таких задач он резвее чем Питон, да и нет компиляторов питона для суперкомпьютеров.
Что касается скорости обработки данных Питон всяко не проигрывает в скорости Матлабу, а чтобы он сравнялся по скорости с тем же фортраном нужно стараться писать без циклов, например (что верно и в случае матлаба). Если вы обрабатываете небольшие массивы то на современных машинах разницы в скорости скорее всего и не заметите, если массивы у вас террабайтные то в любом случае придется обращаться к специальному софту, тем же cdo. Плюс часть библиотек для обработки данных, тот же numpy, насколько я понимаю, написана на С, и по скорости исполнения сравнима с сишными программами.
Питон полноценный язык программирования, на котором легко писать, и, что немаловажно, легко читать программы. Он годится не только и не столько для построения графиков, с его помощью удобно и быстро можно решать научные задачи. Сейчас для него имеется уже довольно солидный набор библиотек для обработки научных данных, хотя до Матлаба с Фортраном ему еще далеко в этом смысле.
Выбор инструмента зависит от ваших задач, и в не малой степени от того чем пользуются ваши более старшие товарищи, на чем написана основная часть кода для обработки в вашей организации. Хотя в моем случае мне было легче просто переписать некоторые утилиты на питоне чем разгребать фортрановский, матлабовский и shell код (при этом 1000 строк на фортране превращались в 100 строк на питоне) 🙂 Писать гидродинамическую модель на питоне возможно не самая лучшая мысль (хотя такая модель существует), но для обработки и визуализации больших объемов данных, на мой взгляд, он подходит как нельзя лучше.
Спасибо, узнал много полезного!
Особенно радует, что «…Питон в моем work flow практически заменил Matlab…». Собираюсь использовать питон в работе над диссертацией.
А какие Вам известны ресурсы в сети(желательно русскоязычные), специализирующиеся на научных расчетах на питоне, кроме scipy.org?
Николай, благодарю вас,
с помощью вашей VirtualBox ferret теперь мой главный помощник:)
сама никогда его не установила и не разобралась бы:))
СПАС?БО!
Николай, здравствуйте. Прочитал ваш ответ про GMT и пришёл к выводу что видимо это как раз мой случай, в том плане что видимо у нас GMT будет заниматься именно генерацией карт а не просто отрисовкой их в PS. Передо мной была поставлена задача перегонять данные которые генерирует GMT в SHP. Для конвертации SHP файлов как я понимаю отлично подходит ogr2ogr, но вот с форматом GMT возникли проблемы ибо на выходе GMT можно получить либо PS, либо ASCII или бинарный дамп. Всё бы ничего, но как этот дамп переконвертировать в SHP я так и не понял=( Возможно вы можете подсказать как это сделать, или возможно знаете где можно посмотреть спецификацию формата? Он очень похож на CSV, но увы некоторые вещи мне не понятны. К сожалению я далёк от океанографии, и соответственно форматов принятых в этой области =(
2Василий
Я к сожалению с SHP дела никогда не имел, поскольку далек от Г?Сов. На мой взгляд в Википедии хорошая статья про этот формат
http://en.wikipedia.org/wiki/Shapefile
там и ссылка на спецификацию есть.
Попробуйте задать свой вопрос на форуме http://gis-lab.info/forum/ там сидят очень адекватные и продвинутые товарищи.
Я не очень понял про «генерацию карт», если не секрет что конкретно вы собираетесь делать при помощи GMT если не рисовать им карты? Преобразования данных? Если так то возможно есть более адекватные варианты?
2Евгений
Так чтобы конкретно на научных русскоязычных
http://sovety.blogspot.com/
Но он уже все больше мигрирует на Хаскель 🙂
Вроде все )
2Светлана
Рад что смог помочь ) Честно говоря думал что это нафиг никому не нужно, ан нет, пригодилось )
Николай, здесь проблема не в SHP а с выходными данными GMT. Если бы мне удалось вывести данные не в PS а например в обычный CSV или другой формат то никаких бы проблем не было. Как дальше перевести CSV в SHP я бы нашёл. SHP файлы используются нами для отрисовки карт в вебе. ?спользуем сервер Geoserver который позволяет масштабировать карты, накладывать слои и так далее. Дело в том что в документации GMT мало информации об так называемых ASCII и бинарных выходных данных. Мне не понятно какой формат они имеют и можно ли их привести к какому либо географическому формату.
Насколько мне известно GMT будет использоваться для преобразования данных а не рисования конечных картах в формате PS, тоесть как промежуточный инструмент. Об аналогах мне неизвестно если подскажете, было бы здорово.
2Василий
В таком случае вам лучше всего спросить у самих разработчиков в их почтовой рассылке
http://gmt.soest.hawaii.edu/gmt/gmt_maillist.html
они там тоже все адекватные и обычно рады помочь.
Я не очень знаком с бинарным выводом GMT, но из этого описания
http://gmt.soest.hawaii.edu/gmt/doc/gmt/html/GMT_Docs/node177.html
я понял что это просто последовательность из цифр заданной precision. Количество столбцов должно быть вам известно (в общем случае наверное широта\долгота\значение), при известной precision данные конвертируются в трехстолбцовый ASCII.
ASCII файлы тоже описаны в документации и сказано что «GMT provides extensive machinery for allowing just about any imaginable format to be used on output» http://gmt.soest.hawaii.edu/gmt/doc/gmt/html/GMT_Docs/node63.html
Я так понимаю вывод контролируется параметрами в вашем файле .gmtdefaults4 http://gmt.soest.hawaii.edu/gmt/doc/gmt/html/GMT_Docs/node33.html
По поводу преобразования данных посмотрите на этом сайте, может найдете то что вам нужно ) С данными можно много всяких делов делать, так что все зависит от конкретной задачи 🙂
Какой интересный сайт, спасибо. Я сам на питоне активно пишу, поэтому с удовольствием буду Вас читать.
Трудновато правда понять как подписаться на RSS сообщений, но у меня получилось 🙂
Николай, здравствуйте!
Когда мы услышим продолжение подкаста реальная наука? Не забрасывайте, Вас интересно слушать!
2Yuri Beringov
Спасибо за комплимент, но продолжение будет как минимум не скоро )
Возможно вы не в курсе что выпусков больше чем на этом сайте? Они находятся тут: http://www.oceanographers.ru/podcast
Поддержу Юрия. Возвращайтесь в эээ … эфир. Очень интересный подкаст.Да и блог у вас прекрасный.
2Yanchick
Спасибо на добром слове, постараюсь 🙂
Здравствуйте,
при вводе команды ‘make’ не происходит создания экзешника модели
mitgcmuv
выдается ошибка
gfortran: Команда не найдена
make: *** [cd_code_init_fixed.o] Ошибка 127
Возможно нужны какие-либо дополнительные шаги для компилирования модели ?
2Valery
Похоже у вас не установлен gfortran.
Здравствуйте Николай. Во-первых респект за потрясающе интересный блог. Я вот например сразу статью про Nexus 7 выделил. Во-вторых хочу спросить у Вас совета по питону. Вышел я на этот язык так. Появилась задача, анализировать тексты на естественном русском языке (типа статей в интернете), понимать о чем там вообще идет речь, вязать сущности перекрестными ссылками, и выкладывать всё это хозяйство на сайт. В связи с чем и обратил светлы очи в сторону питона, как языка на котором есть и хорошие лингвистические пакеты и готовые фреймворки для серверов. Но увидев Ваш блог понял, что на питоне вообще имеет место быть куча вкусняшек. Вот и хочу у Вас спросить, что из полезностей в первую очередь ставить. Я хочу что-то типа того же матлаба. Чтобы в одном проекте был и сервер и лингвистика и чисто для себя, не для сайта, какие-то вспомогательные средства анализа и визуализации. Чтобы например оценивать качество лингвистического движка и по ходу дела понимать где тонко. Ну и еще вопрос, что посоветуете по питону почитать для среднепродвинутого уровня, желательно на русском ? А то начал сейчас рыть книги, и обнаружил, что большинство новичкового уровня, для которых питон вообще первый язык. А мне бы что-то для переходящих на него с С и явы.
Здравствуйте, Николай!
Сайт потрясающий! Большое спасибо!
Я некоторое время занималась визуализацией большого количества данных. Очень люблю это делать: получать из сухих цифр неожиданные красивые графики)).
Вы не могли бы немного рассказать о своей интереснейшей профессии? Что нужно окончить? Какие знания иметь))…
Большое спасибо!
Большое человеческое спасибо! Добавил в закладки и теперь регулярно пользуюсь!
Zdravstbuite,
Pkmkgite mne pojaluista, kak poluchiti dannie tsentrov deistvii atmosperii iz reanaliza NCEP za poslednih 100 let
Zdravstbuite,
Pkmkgite mne pojaluista, kak poluchiti dannie tsentrov deistvii atmosperii iz reanaliza NCEP za poslednih 100 let
Здравствуйте! Подскажите как сделать (шаги выполнения) correlation map (есть данные geopotential height, zonal wind) для территории Казахстана. Я новичок, буду очень признательна! Спасибо!