Управляйте конвейерами данных с помощью Dagster | Программно-определяемые активы | Менеджеры ввод...

Описание: В этом видео мы снова рассмотрим dagster. Мы обсудим изменения в этой системе оркестровки рабочих процессов в связи с недавними обновлениями (обновление с версии 0.15 до 1.3.1).
Dagster — это оркестратор, предназначенный для разработки и поддержки ресурсов данных, таких как таблицы, наборы данных, модели машинного обучения и отчёты.
Мы рассмотрим программно-определяемые активы (SDA), поскольку dagster продвигается к этой технологии. По умолчанию выходные данные нашего конвейера хранятся в виде файла pickle в домашней папке dagster. Что делать, если мы хотим сохранить выходные данные в таблице базы данных или в читаемом файле, таком как CSV или Parquet? Dagster предоставляет менеджеры ввода-вывода (IO-менеджеры), которые позволяют читать и записывать данные в системы хранения. С помощью менеджеров ввода-вывода Store мы можем сохранять выходные данные в файловой системе или хранить данные в виде таблиц в базе данных. Мы определим менеджеры ввода-вывода для файлов CSV/Parquet и менеджеры ввода-вывода для базы данных.

Ссылка на предыдущее видео:    • Getting started with Dagster | Create Pyth...  
Ссылка на репозиторий GitHub: https://github.com/hnawaz007/pythonda...

Начните работу с Dagster всего за три быстрых шага:
Установите Dagster, определите ресурсы и материализуйте ресурсы.

Создайте виртуальную среду: python -m venv env
Активируйте виртуальную среду: env\Scripts\activate

Чтобы установить Dagster в существующую среду Python, выполните:
pip install dagster dagit

Команда для создания нового проекта:
dagster project scaffold --name my-dagster-project

Требуются дополнительные библиотеки: Pandas, psycopg2

Чтобы запустить dagster, выполните следующую команду:
dagit
dagster-daemon run

Доступ к интерфейсу Dagit через порт 3000: http://127.0.0.1:3000

💥Подпишитесь на наш канал:
   / haqnawaz  

📌 Ссылки
-----------------------------------------
#️⃣ Подписывайтесь на меня в социальных сетях! #️⃣

🔗 GitHub: https://github.com/hnawaz007
📸 Instagram:   / bi_insights_inc  
📝 LinkedIn:   / haq-nawaz  
🔗   / hnawaz100  

-----------------------------------------

#Python #ETL #Dagster

Темы, затронутые в этом видео:
===================================
0:00 - Введение в Dagster
2:11 - Создание нового проекта в Dagster
3:03 - Структура проекта в Dagster
4:18 - Программно-определяемые ресурсы (SPA)
5:35 - Установка необходимых библиотек
5:58 - Исходная база данных Подключение
6:27 — Исходный ресурс
10:05 — Менеджер ввода-вывода файлов
14:16 — Второй ресурс
16:19 — Менеджер ввода-вывода Parquet
16:26 — Менеджер ввода-вывода базы данных
19:05 — Материализованные ресурсы