Обзор открытого исходного кода — Большие надежды (платформа качества данных) — Джеймс Кэмпбелл

Описание: Соучредитель Great Expectations Джеймс Кэмпбелл представляет демонстрацию платформы Great Expectations с открытым исходным кодом для оценки качества данных.

00:00 Знакомство с Джеймсом Кэмпбеллом и Great Expectations
02:13 Демонстрация: Настройка блокнота
03:00 Пример данных о такси Нью-Йорка — процесс разведочного анализа
04:00 Использование внеполосных данных для создания ожиданий
05:15 Использование параметра Mostly для преобразования ожиданий на уровне строк в ожидания на уровне пакетов
05:30 Создание документов данных на основе ожиданий и результатов валидации
06:50 Использование помощника по данным для создания ожиданий на основе предыдущих пакетов
09:20 Запуск контрольной точки для проверки новых пакетов данных
12:30 Добавление действий валидации в конфигурации контрольных точек
13:25 Демонстрация: Встроенный помощник по данным создает более полную картину набора данных
16:04 Рабочий процесс использования Great Expectations в конвейере
17:03 Great Expectations получает доступ к данным из любого источника во время проверки ожиданий
17:50 Ожидания на бэкендах Pandas или SQL
19:20 Great Expectations Cloud для поддержки управления конфигурациями и пользователями
20:27 Команда и участники Great Expectations
21:00 Присоединяйтесь к сообществу Slack
22:46 Совет: работайте над тем, что вам нравится

Ссылки:

Сайт Great Expectations: https://greatexpectations.io

MLOps Zoomcamp: https://github.com/DataTalksClub/mlop...
Присоединяйтесь к DataTalks.Club: https://datatalks.club/slack.html
Наши мероприятия: https://datatalks.club/events.html