Настройка Airflow 101 — Google Cloud Composer против Astronomer против MWAA

Описание: За последние 3 месяца я осуществил два разных проекта миграции, в ходе которых компании переходили от ручного управления виртуальными машинами Airflow к использованию Cloud Composer и MWAA (Managed Workflows For Apache Airflow).

Это два отличных варианта для запуска вашего первого проекта Airflow. Они помогают решить множество проблем, таких как масштабирование рабочей нагрузки между рабочими узлами и управление всеми другими компонентами, необходимыми для масштабирования Airflow.

Конечно, и Cloud Composer, и MWAA — это сервисы, предоставляемые двумя крупными облачными провайдерами. Но есть и третий вариант — Astronomer.

В этой статье я хочу обсудить некоторые преимущества и ограничения Cloud Composer и MWAA, а также объяснить, почему Astronomer может быть более подходящим решением для многих компаний.

Если вам понравилось это видео, посмотрите другие мои лучшие видео.

Какие навыки нужны инженерам данных?    • What Skills Do Data Engineers Need To Know  

Идеи для проектов по инженерии данных
   • 5 Data Sources for Your Data Engineering P...  

Если вы хотите узнать больше о машинном обучении, посетите курс DataCamps Machine Learning

https://bit.ly/3BeLEml

Если вы хотите быть в курсе моих новостей о сфере данных, подпишитесь на нашу рассылку здесь.

https://seattledataguy.substack.com/​​

Или посетите мой блог
https://www.theseattledataguy.com/

Теги: Проекты по обработке данных, Идеи для проектов по обработке данных, Источники данных для проектов по аналитике данных, Портфолио проектов по обработке данных

_____________________________________________________________
Подпишитесь:    / @seattledataguy  
_____________________________________________________________
Обо мне:
Всю свою карьеру я посвятил всем формам данных. Я занимался разработкой алгоритмов для выявления мошенничества, снижения повторных госпитализаций пациентов и пересмотром полисов страховых компаний с целью снижения общих расходов на здравоохранение. Я также участвовал в разработке аналитики для маркетинга и ИТ-операций с целью оптимизации ограниченных ресурсов, таких как сотрудники и бюджет. Я предоставляю частные консультации по вопросам науки о данных и инженерии как самостоятельно, так и в составе компании Acheron Analytics. У меня есть опыт как практического решения технических проблем, так и помощи руководству в разработке стратегий для максимизации эффективности данных.

*Я участвую в партнёрских программах. Если ссылка отмечена звездочкой (*), я могу получить небольшую часть дохода без каких-либо дополнительных затрат для вас.