Мощный агент качества данных для Dataplex

Описание: Агент качества данных для #Dataplex: детерминированный подход к анализу.

Отслеживание проблем качества данных в масштабе сотен таблиц в Dataplex требует эффективных и надежных решений для мониторинга, которые выходят за рамки специализированных сложных информационных панелей.

Я делюсь видео, в котором подробно описывается агент качества данных, созданный для быстрого развертывания и предназначенный для предоставления мгновенной и практической аналитики без необходимости использования специальных уровней визуализации.

🛑 Решение проблемы неопределенности NL2SQL

Ключевой проблемой масштабирования интерфейсов естественного языка является неопределенность, присущая преобразованию NL2SQL (естественный язык в SQL). При работе с критически важными для бизнеса данными даже 1% погрешности достаточно, чтобы подорвать доверие заинтересованных сторон и ограничить внедрение. 📉

Для обеспечения уверенности и надежных результатов это решение использует уникальную методологию:
⭐ Предварительно подготовленный SQL: мы определяем и проверяем высокодетерминированные SQL-запросы, адаптированные к важным проблемам качества данных. ⭐ Интеграция с LLM: Мы используем возможности логического мышления LLM для интеллектуального заполнения необходимых переменных и контекстных параметров в этих предопределенных запросах.

Эта архитектура обеспечивает детерминированный и надежный результат для критически важных рабочих процессов восстановления качества данных, делая агент готовым к использованию уже сегодня. 🛠️

00:00 — Введение в Data Quality Agent для Dataplex и новый взгляд на задачу NL2SQL.

03:16 — Создание основы для нашего агента
09:19 — Демонстрация
18:14 — Архитектура агента
22:05 — Глубокое погружение в решение (также используйте Data Canvas, чтобы писать SQL быстрее!)
34:43 — Дальнейшие шаги

Кодовая база: https://github.com/richardhe-fundamen...