Как создать платформу данных 7 — Конвейеры данных
Автор: Oakland
Загружено: 2026-02-10
Просмотров: 317
Описание:
Конвейеры данных — это, по сути, основа современной аналитики: как перевести данные из «сырого» состояния в «обработанное», не сломав всё в 2 часа ночи?
В этом видео мы разберём, что такое конвейер данных, почему большинству команд следует по умолчанию использовать ELT (а не ETL), и как DAG и оркестраторы (такие как Airflow, Dagster, Prefect и другие) обеспечивают надёжную работу рабочих процессов в масштабе. Мы также рассмотрим тот факт, что некоторые конвейеры фактически являются ELTEL (привет, Power BI/Tableau), когда ETL всё ещё имеет смысл, и как более дешёвое хранилище + столбцовые форматы, такие как Parquet, изменили правила игры.
Затем мы рассмотрим практические рекомендации, которые сделают конвейеры скучными (в лучшем смысле): повторные попытки, оповещения, логирование, контроль версий, небольшие тестируемые шаги, параметризация, проверки качества данных и тайм-ауты.
Если вы создаёте что-либо, от дашбордов до аналитических платформ, это именно та модель мышления, которая вам нужна.
Ссылка на руководство здесь: https://weareoakland.com/the-ultimate...
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке:
