Dask DataFrame: Введение

Описание: В этом видео Мэтт Роклин дает краткое представление о Dask DataFrames.

Dask — это бесплатная библиотека с открытым исходным кодом для параллельных вычислений на Python. Dask — это проект сообщества, поддерживаемый разработчиками и организациями.

Dask помогает масштабировать рабочие процессы в области анализа данных и машинного обучения, а также упрощает работу с Numpy, pandas и Scikit-Learn. Dask — это фреймворк для создания распределенных приложений, который использовался с десятками других систем, таких как XGBoost, PyTorch, Prefect, Airflow, RAPIDS и многими другими.

Dask DataFrames масштабируют рабочие процессы pandas, позволяя создавать приложения для анализа временных рядов, бизнес-аналитики и общей обработки больших данных. Dask DataFrame — это большой параллельный DataFrame, состоящий из множества меньших Pandas DataFrames, разделенных по индексу. Эти Pandas DataFrames могут храниться на диске для вычислений, превышающих объем оперативной памяти, на одной машине или на многих разных машинах в кластере. Одна операция с Dask DataFrame запускает множество операций над составляющими его объектами Pandas DataFrame. Dask DataFrame координирует множество объектов Pandas DataFrame, разделенных по индексу.

Dask DataFrame координирует множество объектов Pandas DataFrame/Series, расположенных по индексу. Dask DataFrame разделяется построчно, группируя строки по значению индекса для повышения эффективности. Эти объекты Pandas могут храниться на диске или на других машинах. Поскольку программный интерфейс приложения (API) dask.dataframe является подмножеством API Pandas, он должен быть знаком пользователям Pandas.

Поделитесь своим мнением в комментариях и расскажите нам:

Было ли вам полезно это видео?

Вы уже использовали Dask?

Подробнее см. на https://docs.dask.org/en/latest/dataf...

КЛЮЧЕВЫЕ МОМЕНТЫ
00:00 - Введение
00:15 - Начало работы с Pandas
01:22 - DataFrames Dask
02:26 - Работа с несколькими файлами
03:14 - Разделы DataFrames Dask
04:33 - Сопоставление функции со всеми разделами
06:35 - Метаданные
06:46 - Parquet