Введение в Оркестрацию // Демо занятие курса «Экосистема Hadoop, Spark, Hive»

Описание: На сегодняшний день, инструменты Оркестрации - это отраслевой стандарт для организации получения, обработки и сохранения данных из сотен и даже тысяч разнородных источников с разнообразной частотой обновления и природой.

Сценарии использования платформ Оркестрации разнообразны: вы можете просто организовать регулярные select - group by - insert из production базы данных в "холодную" реплику под аналитику, а можете написать целый сервис, который будет раз в час обновлять данные, дообучать ML-модель и поставлять актуальные прогнозные значения конечным пользователям.

Данная технология - неотъемлемый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера.

На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.

Приходите, будет интересно!

«Экосистема Hadoop, Spark, Hive» - https://otus.pw/Swx9/
​
Преподаватель: Максим Мигутин – более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов

Подключайтесь к обсуждению в чате - https://otus.pw/yYr6/
​
​Следите за новостями проекта:
​- Telegram: https://t.me/Otusjava
​- ВКонтакте: https://otus.pw/850t
​- LinkedIn: https://otus.pw/yQwQ/
​- Хабр: https://otus.pw/S0nM/