Доклад - Кристофер Ариза: Применение формата NPY NumPy для более быстрых, чем Parquet, DataFrame...

Описание: Более 14 лет назад в первом предложении по улучшению NumPy (NEP) были определены формат NPY (двоичное кодирование массива данных и метаданных) и формат NPZ (архивированные пакеты файлов NPY). Эти же форматы, расширенные в виде специального NPZ-файла, упакованного метаданными JSON, могут использоваться в Python для создания стабильного формата хранения DataFrame, который может существенно превосходить Parquet по скорости чтения/записи в широком диапазоне контекстов. В отличие от Parquet, все характеристики DataFrame могут быть закодированы, и поддерживаются все d-типы NumPy. Реализованный в StaticFrame, этот формат может использовать преимущества неизменяемой модели данных для отображения в память полных DataFrame из распакованных каталогов NPY. Учитывая широкое использование файлов Parquet в рабочих процессах науки о данных, более быстрый, чем Parquet, формат файла может значительно снизить вычислительные затраты.

Я начну этот доклад с описания сложности сериализации объектов DataFrame, продемонстрировав, что практически все стабильные форматы кодирования не полностью поддерживают все характеристики DataFrame. Хотя широко используемый формат Parquet считается «золотым стандартом» формата двоичных файлов, будет показано, что его столбчатое представление имеет ограничения при кодировании DataFrame.

Я покажу, как формат NPY в сочетании с метаданными JSON может быть использован для создания пользовательского файла NPZ со значительными преимуществами в производительности и совместимости по сравнению с Parquet. Будут подробно описаны особенности этой схемы кодирования.

Я завершу доклад, проведя многочисленные сравнения производительности чтения/записи между Parquet (через Pandas) и NPZ (через StaticFrame), измеренные с использованием широкого спектра форм DataFrame и композиций dtype. Я поделюсь методами, используемыми при реализации оптимизированных процедур Python для чтения и записи файлов NPY, и продемонстрирую примеры использования для отображения полных объектов DataFrame в память с использованием того же представления NPY.

Слайды: https://pycon-assets.s3.amazonaws.com...