Записки океанолога — обработка и визуализация данных

Решил перевести славную шпаргалку по массивам в scipy. Под катом

Оригинал находится по адресу http://pages.physics.cornell.edu/~myers/teaching/ComputationalMethods/python/arrays.html

Массивы это основный тип данных для пакета SciPy. (Точно такие же массивы доступны из пакета NumPy, который является подмножеством SciPy. Но для ясности мы будем говорить о массивах SciPy, хотя онлайн документация часто ссылается на массивы NumPy, что в принципе одно и то же. Технически массивы имеют тип ndarray, который расшифровывается как «n-размерный массив» (n-dimensional array)). Массивы становятся доступны после импорта модуля scipy: import scipy. В некотором роде массивы похожи на питноновские списки, но многомерные, содержащие данные одного типа и поддерживающие эффективные операции над собой. С недавних пор по SciPy и NumPy создается очень подробная документация.

Создание массивов

scipy.array(alist): создаёт n-мерный массив из списка (все элементы листа должны быть одинаково длинны)

• a = scipy.array([[1,2,3],[4,5,6]])
• b = scipy.array([i*i for i in range(100) if i%2==1])
• c = b.tolist() # конвертирует массив обратно в список

scipy.zeros(shape, dtype=float): создаёт n-мерный массив заданной формы, заполненный нулями заданного типа

• a = scipy.zeros(100) # 100 элементный массив нулей, тип float
• b = scipy.zeros((2,8), int) # массив нулей размера 2×8 типа int
• c = scipy.zeros((N,M,L), complex) # массив нулей NxMxL тип complex

scipy.ones(shape, dtype=float): создаёт n-мерный массив заданной формы, заполнены единицами заданного типа

• a = scipy.ones(10, int) # 10 элементный массив единиц типа int
• b = scipy.pi * scipy.ones((5,5)) # хороший способ заполнить массив заданным значением

scipy.eye(shape, dtype=float)

• id = scipy.eye(10,10) # 10×10 единичная матрица (единицы по диагонали)
• offdiag = scipy.eye(10,10,1)+scipy.eye(10,10,-1) # единицы по сдвинутой от центра диагонали

scipy.transpose(a) # транспонирует массив

• b = scipy.transpose(a) # заменяет строки на столбцы для двумерной матрицы (транспонирование), и заменяет оси друг на друга для размерностей больше 2х.
• b = a.T # эквивалентно scipy.transpose(a)
• c = scipy.swapaxes(a, axis1, axis2) # меняет местами заданные оси

scipy.arange and scipy.linspace

• a = scipy.arange(start, stop, increment) # похож на оператор range, но создаёт не список а массив
• b = scipy.linspace(start, stop, num_elements) # создаёт массив со значениями равномерно распределенными на num_elements интервалах между значениями start и stop

scipy.random создание случайного массива

• a = scipy.random.random((100,100)) # массив размера 100×100 содержащий значения типа float равномерно распределенные на интервале [0.,1.)
• b = scipy.random.randint(0,10, (100,)) # 100 значений формата int равномерно распределённых на интервале [0, 10), то есть не включающем верхней границы — 10
• c = scipy.random.standard_normal((5,5,5)) # стандартное нормальное распределение (среднее=0, стандартное отклонение =1) в массиве 5x5x5

�?ндексирование массивов

Многомерное индексирование

• elem = a[i,j,k] # эквивалентно a[i][j][k] но вероятно более эффективно

«Отрицательное» индексирование (начинается с конца массива)

• last_elem = a[-1] # последний элемент массива

Массивы как индексы

• i = scipy.array([0,1,2,1]) # массив индексов для первой оси
• j = scipy.array([1,2,3,4]) # массив индексов для второй оси
• a[i,j] # возвращает массив ([a[0,1], a[1,2], a[2,3], a[1,4]])
• b = scipy.array([True, False, True, False])
• a[b] # возвращает массив ([a[0], a[2]]) поскольку только b[0] и b[2] являются True

Срезы массивов

Срез определенного подблока:

• section = a[10:20, 30:40] # 10×10 подблок начинающийся в [10,30]

Захватить все до начала/конца массва:

• asection = a[10:, 30:] # отсутствие завершающего индекса подразумевает «до конца массива»
• bsection = b[:10, :30] # отсутствие стартового индекска подразумевает «до начала массива»

Захватить всю колонку(ки)

• x = a[:, 0] # взять все значения из нулевой колонки (нет ни начала ни конца, то есть берем все строки)
• y = a[:, 1] # взять все значения из первой колонки (соответственно все строки)

Срезать хвост массива

• tail = a[-10:] # получить последние 10 элементов массива
• slab = b[:, -10:] # получить блок шириной 10 с «боку» массива
• interior = c[1:-1, 1:-1, 1:-1] # вырезать все кроме внешней «оболочки»

Поэлементные действия с массивами

Арифметические операции

• c = a + b # сложить a и b поэлиментно (массивы должны быть одной формы)
• d = e * f # перемножить e и f поэлементно (НЕ МАТР�?ЧНОЕ УМНОЖЕН�?Е)
• g = -h # меняет знак каждого элемента h
• y = (x+1)%2 # меняет местами нули и единицы в бинарном массиве x
• z = w > 0.0 # возвращает булев массив указывающий какие элементы > 0.0
• logspace = 10.**scipy.linspace(-6.0, -1.0, 50) # 50 равномерно распределенных точек между 1.e-06 и 1.0e-01

Тригонометрические операции

• y = scipy.sin(x) # синус каждого элемента x
• w = scipy.sin([i*i for i in range(100) if i%2==1]) # конвертация из списка в массив как часть функции
• z = scipy.exp((0.+1.j) * theta) # exp(i * theta) где i = sqrt(-1) = 0.+1.j

Суммирование массивов

Простое суммирование

• s = scipy.sum(a) # сумма всех элементов a, возвращает скаляр
• s0 = scipy.sum(a, axis=0) # сумма элементов вдоль определенной оси (=0), возвращает массив оставшейся формы, например,
• a = scipy.ones((10,20,30))
• s0 = scipy.sum(a, axis=0) # s0 имеет форму (20,30)

Осреднение и т. д.

• m = scipy.mean(a, axis) # вычисляет среднее вдоль определенной оси (если axis=None, осреднение происходит по всему массиву)
• s = scipy.std(a, axis) # вычисляет стандартное отклонение вдоль определенной оси (если axis=None, по всему массиву)

Накопительные суммы

• s0 = scipy.cumsum(a, axis=0) # накопительная сумма по оси 0, возвращает массив той же формы что и a
• s0 = scipy.cumsum(a) # накопительная сумма вдоль 0 оси, возвращает одномерный массив длинны shape[0]*shape[1]*…*shape[dim-1]

Другие полезные функции для работы с масиивами в SciPy

Много других полезных функций и методов с документацией находятся на странице NumPy Examples.

Многое из нижеперечисленного работает и как отдельные функции (scipy.blah(a)) и как методы массива (a.blah()).

• scipy.any(a): возвращает True если любой из элементов a является True
• scipy.all(a): возвращает True если все элементы a являются True
• scipy.alltrue(a, axis): применяет ЛОГ�?ЧЕСКОЕ �? вдоль заданной оси a
• scipy.append(a, values, axis): добавляет значения к a вдоль заданной оси
• scipy.concatenate((a1, a2, …), axis): объединяет кортеж массивов вдоль определенной оси
• scipy.min(a, axis=None), scipy.max(a, axis=None): выдает min/max значения вдоль определенной оси (по всему массиву если axis=None)
• scipy.argmin(a, axis=None), scipy.argmax(a, axis=None): выдает индексы значений min/max массива a вдоль определенной оси (для всего массиваа если axis=None)
• scipy.reshape(a, newshape): изменяет форму массива (общее количество элементо массива должно сохраняться)
• scipy.matrix(a): создает матрицу из двухмерного массива a (в матрицах реализовано матричное умножение вместо поэлементного умножения)
• scipy.histogram, scipy.histogram2d, scipy.histogramdd: одномерная, двумаерная и d-мерная гистограмма соответственно
• scipy.around(a, decimals=0): округляет элементы массива до определенного количества знаков после запятой
• scipy.sign(a): возвращает массив такой же формы как a, с -1 где a < 0, 0 где a = 0, и +1 где a > 0
• a.tofile(fid, sep=»», format=»%s»): записывает a в определенный файл (fid), либо в бинарном либо в ascii формате в зависимости от опций
• scipy.fromfile(file=, dtype=float, count=-1, sep=»): считывает массив из файла (бинарного или ascii)
• scipy.unique(a): возвращает сортированные уникальные элементы a
• scipy.where(condition, x, y): возвращает массив той же формы что и condition, где значения из x вставлены в местах где condition является True, и значения из y где condition является False
• scipy.fliplr(a): перевернуть массив слева на право
• scipy.flipud(a): перевернуть массив сверху вниз
• a = a[:,:,:,::-1] — перевернуть одну из осей массива любой размерности
• numpy.unravel_index(flat_index, array.shape) — узнать координаты точки в многомерном массиве по flat index.