Как создать и автоматизировать конвейер ETL в Python с помощью Airflow | Конвейер данных | Python

Описание: В этом видео мы рассмотрим, как автоматизировать ETL-процессы (извлечение, преобразование и загрузку) в Python с помощью Apache Airflow. В этом видео мы будем использовать API TaskFlow, представленный в Airflow 2.0. API TaskFlow значительно упрощает написание чистого ETL-кода без лишних шаблонов благодаря использованию декоратора @task. Airflow организует ваши рабочие процессы в виде направленных ациклических графов (DAG), состоящих из задач.

В этом руководстве мы рассмотрим, как спроектировать конвейер ETL на Python. Мы будем использовать базу данных AdventureWorks SQL Server в качестве источника и загрузим данные в PostgreSQL с помощью Python. Мы сосредоточимся на иерархии Product и улучшим наш начальный конвейер данных, чтобы дать вам полное представление о процессе извлечения, загрузки и преобразования.

Ссылка на статью на Medium по этой теме:   / how-to-automate-etl-pipelines-with-airflow  

Ссылка на предыдущее видео:    • How to build an ETL pipeline with Python |...  

Ссылка на видео Pandas:    • Python Pandas Data Science Tutorial (Read ...  

Ссылка на репозиторий GitHub: https://github.com/hnawaz007/pythonda...

Ссылка на Cron Expressions: https://docs.oracle.com/cd/E12058_01/...

Подпишитесь на нашу Канал:
   / haqnawaz  

---------------------------------------------
Подписывайтесь на меня в социальных сетях!

GitHub: https://github.com/hnawaz007
Instagram:   / bi_insights_inc  
LinkedIn:   / haq-nawaz  

---------------------------------------------

#ETL #Python #Airflow

Темы, рассматриваемые в этом видео:
0:00 - Введение в Airflow
2:49 - Настройка
3:40 - Скрипт конвейера ETL: Извлечение
5:52 - Преобразование
7:39 - Загрузка
8:00 - Определение прямого ациклического графа (DAG)
9:36 - Интерфейс Airflow: Включение и запуск DAG
10:09 - Обзор DAG
10:29 - Тестирование конвейера ETL