ycliper

Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
Скачать

Управляйте конвейерами данных с помощью Dagster | Программно-определяемые активы | Менеджеры ввод...

Автор: BI Insights Inc

Загружено: 2023-05-24

Просмотров: 7688

Описание: В этом видео мы снова рассмотрим dagster. Мы обсудим изменения в этой системе оркестровки рабочих процессов в связи с недавними обновлениями (обновление с версии 0.15 до 1.3.1).
Dagster — это оркестратор, предназначенный для разработки и поддержки ресурсов данных, таких как таблицы, наборы данных, модели машинного обучения и отчёты.
Мы рассмотрим программно-определяемые активы (SDA), поскольку dagster продвигается к этой технологии. По умолчанию выходные данные нашего конвейера хранятся в виде файла pickle в домашней папке dagster. Что делать, если мы хотим сохранить выходные данные в таблице базы данных или в читаемом файле, таком как CSV или Parquet? Dagster предоставляет менеджеры ввода-вывода (IO-менеджеры), которые позволяют читать и записывать данные в системы хранения. С помощью менеджеров ввода-вывода Store мы можем сохранять выходные данные в файловой системе или хранить данные в виде таблиц в базе данных. Мы определим менеджеры ввода-вывода для файлов CSV/Parquet и менеджеры ввода-вывода для базы данных.

Ссылка на предыдущее видео:    • Getting started with Dagster | Create Pyth...  
Ссылка на репозиторий GitHub: https://github.com/hnawaz007/pythonda...

Начните работу с Dagster всего за три быстрых шага:
Установите Dagster, определите ресурсы и материализуйте ресурсы.

Создайте виртуальную среду: python -m venv env
Активируйте виртуальную среду: env\Scripts\activate

Чтобы установить Dagster в существующую среду Python, выполните:
pip install dagster dagit

Команда для создания нового проекта:
dagster project scaffold --name my-dagster-project

Требуются дополнительные библиотеки: Pandas, psycopg2

Чтобы запустить dagster, выполните следующую команду:
dagit
dagster-daemon run

Доступ к интерфейсу Dagit через порт 3000: http://127.0.0.1:3000

💥Подпишитесь на наш канал:
   / haqnawaz  

📌 Ссылки
-----------------------------------------
#️⃣ Подписывайтесь на меня в социальных сетях! #️⃣

🔗 GitHub: https://github.com/hnawaz007
📸 Instagram:   / bi_insights_inc  
📝 LinkedIn:   / haq-nawaz  
🔗   / hnawaz100  

-----------------------------------------

#Python #ETL #Dagster

Темы, затронутые в этом видео:
===================================
0:00 - Введение в Dagster
2:11 - Создание нового проекта в Dagster
3:03 - Структура проекта в Dagster
4:18 - Программно-определяемые ресурсы (SPA)
5:35 - Установка необходимых библиотек
5:58 - Исходная база данных Подключение
6:27 — Исходный ресурс
10:05 — Менеджер ввода-вывода файлов
14:16 — Второй ресурс
16:19 — Менеджер ввода-вывода Parquet
16:26 — Менеджер ввода-вывода базы данных
19:05 — Материализованные ресурсы

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...
Управляйте конвейерами данных с помощью Dagster | Программно-определяемые активы | Менеджеры ввод...

Поделиться в:

Доступные форматы для скачивания:

Скачать видео

  • Информация по загрузке:

Скачать аудио

Похожие видео

How to build on-premise Data Lake? | Build your own Data Lake | Open Source Tools | On-Premise

How to build on-premise Data Lake? | Build your own Data Lake | Open Source Tools | On-Premise

What is Dagster? Asset Based Orchestration [2hr full course]

What is Dagster? Asset Based Orchestration [2hr full course]

создать пруд данных с использованием duckdb и dbt | dlt и postgres

создать пруд данных с использованием duckdb и dbt | dlt и postgres

Кремль заявил о госперевороте / Военные РФ бьют тревогу

Кремль заявил о госперевороте / Военные РФ бьют тревогу

Soda's Bi-Directional Integration with Collibra | Webinar

Soda's Bi-Directional Integration with Collibra | Webinar

SH: Let's build a data pipeline with Prefect!

SH: Let's build a data pipeline with Prefect!

Apache Iceberg: что это такое и почему все о нем говорят.

Apache Iceberg: что это такое и почему все о нем говорят.

"Дух Анкориджа" - это афера?

Качество данных как часть конвейера данных

Качество данных как часть конвейера данных

Kubernetes — Простым Языком на Понятном Примере

Kubernetes — Простым Языком на Понятном Примере

Лучший Гайд по Kafka для Начинающих За 1 Час

Лучший Гайд по Kafka для Начинающих За 1 Час

Rethinking Orchestration as Reconciliation: Software-Defined Assets in Dagster

Rethinking Orchestration as Reconciliation: Software-Defined Assets in Dagster

Мы стоим на пороге нового конфликта! Что нас ждет дальше? Андрей Безруков про США, Россию и кризис

Мы стоим на пороге нового конфликта! Что нас ждет дальше? Андрей Безруков про США, Россию и кризис

Создайте локальный Data Lakehouse с помощью Apache Iceberg | Nessie | MinIO | Lakehouse

Создайте локальный Data Lakehouse с помощью Apache Iceberg | Nessie | MinIO | Lakehouse

Разделенные конвейеры данных в инженерии данных

Разделенные конвейеры данных в инженерии данных

Начало работы с Dagster | Создание ETL-запросов на Python | Организация конвейеров ETL с помощью ...

Начало работы с Dagster | Создание ETL-запросов на Python | Организация конвейеров ETL с помощью ...

Introducing External Assets and Dagster Pipes -- Dagster Launch Week - Fall 2023

Introducing External Assets and Dagster Pipes -- Dagster Launch Week - Fall 2023

Docker за 20 минут

Docker за 20 минут

Руководство для начинающих по хранилищу BLOB-объектов Azure

Руководство для начинающих по хранилищу BLOB-объектов Azure

Automating Data Pipelines with Python & GitHub Actions [Code Walkthrough]

Automating Data Pipelines with Python & GitHub Actions [Code Walkthrough]

© 2025 ycliper. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]