Подробный анализ Dagster: многопользовательский режим для современных платформ обработки данных

Описание: 0:00 – Введение
2:30 – Что такое многопользовательский режим и почему он важен
4:00 – Аналогия с «Титаником»: что происходит, когда границы размываются
5:00 – Централизованные, встроенные и периферийные команды обработки данных
7:15 – Рабочие нагрузки ИИ/LLM и проблема многопользовательского режима
9:00 – Когда многопользовательский режим является (и не является) правильным решением
10:15 – Архитектура Dagster типа «сэндвич с фрикадельками»: расположение кода, определения и область действия ресурсов
12:30 – Распространенные шаблоны изоляции: на основе команды, на основе клиента, на основе домена, на основе среды
14:15 – Примеры проектов: StashAway, Magenta и Ida
17:15 – Истории клиентов Brooklyn Data: миграция финансовых услуг, отчетность конгломератов, извлечение документов на основе LLM
27:00 – Живая демонстрация: многопользовательский проект Dagster с датчиками, расположенными в разных местах кода, и локальным LLM Ресурсы
32:00 – Ключевые выводы для команд разработчиков платформы и специалистов
36:30 – Вопросы и ответы: разделы и многопользовательский режим, разрешения для внешних клиентов, изоляция экспериментов и производственной среды, границы защиты персональных данных, RBAC в Dagster Plus и многое другое
Упомянутые ресурсы:

Кейсы Dagster: https://dagster.io/customers
Документация Dagster – Расположение кода: https://docs.dagster.io/guides/build/...
RBAC Dagster+: https://docs.dagster.io/deployment/da...
Навыки Dagster для разработки с использованием ИИ: https://github.com/dagster-io/skills
Dagster Compass: https://compass.dagster.io/
Brooklyn Data Co.: https://www.brooklyndata.co/