Программируемое качество данных с помощью Dataplex и генеративного ИИ

Описание: Практикум → https://goo.gle/4nInEzb
GitHub → https://goo.gle/3W6TKJc
Запись в блоге → https://goo.gle/46GkqFK

Ручное создание правил качества данных часто занимает много времени и является непоследовательным. В этом видео мы продемонстрируем практичный программный рабочий процесс в Google Cloud для автоматизации создания и развертывания правил качества данных с помощью Dataplex и генеративного ИИ. Сократите ручной труд и создайте более надежные конвейеры данных. В этом видео представлен надежный шаблон для создания масштабируемых систем качества данных, позволяющий управлять политиками управления данными с помощью кода.

Вот что мы рассмотрим:

1️⃣ Сглаживание сложных данных: узнайте, как использовать материализованные представления в BigQuery для подготовки вложенных данных для комплексного профилирования Dataplex.

2️⃣ Автоматизированное профилирование: научитесь программно запускать и управлять сканированием профилей данных Dataplex с помощью клиента Python.

3️⃣ Предложение правил на основе ИИ: узнайте, как экспортировать результаты профилей и использовать интерфейс командной строки Gemini для интеллектуального предложения правил качества данных, совместимых с Dataplex, в формате YAML.

4️⃣ Валидация с участием человека: ознакомьтесь с критической важностью человеческой проверки для проверки и уточнения конфигураций, созданных с помощью ИИ, перед развертыванием.

5️⃣ Развертывание сканирований качества: мы рассмотрим развертывание этих проверенных правил в виде автоматизированных сканирований качества данных Dataplex.

🔔 Подпишитесь на Google Cloud Tech → https://goo.gle/GoogleCloudTech

Докладчик: Хёнук Лим
Упоминаемые продукты: Dataplex Universal Catalog, BigQuery,