DataOps Community Meetup

Описание: Регистрируйся и активируй грант на 4000 рублей: https://cloud.yandex.ru/services/data...

Систематизировать и извлекать из данных ценность помогает DataOps — одна из самых молодых и обсуждаемых концепций в ИТ. Как и в случае DevOps, DataOps — не только принципы организации работы с данными, но и инструменты, облегчающие задачу, и архитектурные паттерны работы с этими инструментами.

Узнать о реальных возможностях использования новых инструментов по обработке данных помогает обмен опытом с коллегами.

00:00 Интро
04:40 Готовим данные по-облачному: как собрать витрины в S3 на временных кластерах Data Proc. Дмитрий Морозов, Glowbyte Consulting
22:50 Как организовать работу с объектным хранилищем для Apache Spark.
Михаил Епихин, Yandex.Cloud
55:38 Airflow in production: как обустроить использование Airflow для оркестрации Spark-задач в мультитенантной среде.
Донат Фетисов, билайн
1:22:50 Trino - единый sql или как поджойнить все со всем.
Павел Тарасов, anabar.ai
01:46:47 Apache Hudi: Update и Delete в data lake без СМС и регистрации
Никита Василюк, Lamoda