Dagster Deep Dive — крупномасштабные пакетные вычисления с помощью Dagster

Описание: Глубокое погружение с Заком Ромером: Масштабирование обработки больших объёмов данных в Empirico
Присоединяйтесь к нашему специальному выпуску с Заком Ромером из Empirico, где он расскажет о тонкостях работы с большими объёмами данных.

Зак, ведущий инженер по инфраструктуре данных, поделится своим опытом и знаниями о работе с петабайтными данными, полногеномными ассоциативными исследованиями (GWAS) и о том, как Empirical использует передовые технологии для обработки огромных объёмов генетических данных для разработки лекарств. Узнайте об использовании фреймворка Dagster, методах отслеживания затрат, динамических графовых ресурсах, внешних ресурсах для выполнения и многом другом. Этот выпуск полон ценных выводов как для опытных инженеров данных, так и для новичков в этой области.

00:00 Введение
03:40 Обзор Empirico и проблем инженерии данных
06:56 Полногеномные ассоциативные исследования (GWAS)
10:10 Инфраструктура данных и инструменты Empirical
17:20 Динамические графовые ресурсы и обработка разветвлений
23:09 Обработка сбоев и внешнее выполнение
25:20 Цели и архитектура внешнего выполнения
28:56 Введение в отправку заданий
29:26 Запуск внешних заданий
30:18 Создание конфигурации внешнего задания
30:50 Загрузка артефактов и запуск внешних запусков
31:58 Мониторинг и ведение журнала внешних заданий
34:28 Стратегии повторных попыток при сбоях заданий
37:26 Отслеживаемость затрат и тегирование
52:46 Проблемы масштабирования и решения
57:02 Опыт разработчиков и локальный рабочий процесс в производстве
59:31 Сессия вопросов и ответов