Dask Futures за 11 минут: Введение

Описание: В этом видео Мэтт Роклин кратко знакомит с Dask Futures. Вы узнаете, как Dask Futures можно использовать для распараллеливания простого, легко распараллеливаемого рабочего процесса, а также о зависимостях задач и управлении памятью.

Что такое Dask?

Dask — это бесплатная библиотека с открытым исходным кодом для параллельных вычислений на Python. Dask — это проект сообщества, поддерживаемый разработчиками и организациями.

Что такое Dask Future?

Dask Delayed и Futures представляют собой легковесные механизмы для создания и запуска пользовательских графов задач, оставаясь при этом в рамках традиционных шаблонов кодирования Python. Эта комбинация — обычный код Python с мощным распределенным планировщиком — позволяет распараллеливать всевозможные отраслевые или специализированные рабочие нагрузки для быстрых крупномасштабных вычислений.

Dask поддерживает структуру задач реального времени, которая расширяет интерфейс Python concurrent.futures. Этот интерфейс хорош для произвольного планирования задач, как dask.delayed, но является немедленным, а не ленивым, что обеспечивает большую гибкость в ситуациях, когда вычисления могут развиваться со временем.

Эти функции зависят от планировщика задач второго поколения, используемого в dask.distributed (который, несмотря на своё название, отлично работает на одной машине).

Поделитесь своим мнением в комментариях и расскажите нам:

Было ли видео полезным?

У вас есть конкретные вопросы о Dask Futures?

Узнайте больше на https://docs.dask.org/en/latest/futur...

КЛЮЧЕВЫЕ МОМЕНТЫ

00:00:00 Введение
00:00:26 Пример рабочего процесса
00:02:02 Dask Futures
00:03:00 Параллельные Futures
00:03:56 Зависимости задач и управление памятью
00:05:46 Другие примеры рабочих процессов
00:08:49 Секрет освобождения памяти
00:10:48 Dask управляет памятью как Python