How unsupervised machine learning can scale data quality monitoring in Databricks

Автор: Databricks

Загружено: 2022-07-19

Просмотров: 4536

Описание: Technologies like Databricks Delta Lake and Databricks SQL enable enterprises to store and query their data. But existing rules and metrics approaches to monitoring the quality of this data are tedious to set up and maintain, fail to catch unexpected issues, and generate false positive alerts that lead to alert fatigue.

In this talk, Jeremy will describe a set of fully unsupervised machine learning algorithms for monitoring data quality at scale in Databricks. He will cover how the algorithms work, their strengths and weaknesses, and how they are tested and calibrated.

Participants will leave this talk with an understanding of unsupervised data quality monitoring, its strengths and weaknesses, and how to begin monitoring data using it in Databricks.

Connect with us:
Website: https://databricks.com
Facebook:   / databricksinc
Twitter:   / databricks
LinkedIn:   / data.  .
Instagram:   / databricksinc

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...

How unsupervised machine learning can scale data quality monitoring in Databricks

Доступные форматы для скачивания:

Скачать видео

Информация по загрузке:

Скачать аудио

Похожие видео

Challenges in Time Series Forecasting

Challenges in Time Series Forecasting

Dive Deeper into Data Engineering on Databricks

Dive Deeper into Data Engineering on Databricks

Architecting for Data Quality in the Lakehouse with Delta Lake and PySpark

Architecting for Data Quality in the Lakehouse with Delta Lake and PySpark

Administrator Best Practices and Tips for Future-Proofing your Databricks Account

Administrator Best Practices and Tips for Future-Proofing your Databricks Account

Business AI in 2026: What’s Working, What’s Not, and What’s Coming (w/ Databricks CTO Matei Zaharia)

Business AI in 2026: What’s Working, What’s Not, and What’s Coming (w/ Databricks CTO Matei Zaharia)

Как и почему инженерам данных нужно заботиться о качестве данных сейчас — и как это реализовать

Как и почему инженерам данных нужно заботиться о качестве данных сейчас — и как это реализовать

Productizing Structured Streaming Jobs Burak Yavuz Databricks

Productizing Structured Streaming Jobs Burak Yavuz Databricks

Kishan Manani - Feature Engineering for Time Series Forecasting | PyData London 2022

Kishan Manani - Feature Engineering for Time Series Forecasting | PyData London 2022

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Как использовать Claude для создания БЕЗУМНЫХ финансовых моделей (2026)

Как использовать Claude для создания БЕЗУМНЫХ финансовых моделей (2026)

Cleanlab: AI to Find and Fix Errors in ML Datasets

Cleanlab: AI to Find and Fix Errors in ML Datasets

Маска подсети — пояснения

Маска подсети — пояснения

Enable Production ML with Databricks Feature Store

Enable Production ML with Databricks Feature Store

Learn to Use Databricks for the Full ML Lifecycle

Learn to Use Databricks for the Full ML Lifecycle

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

The Parquet Format and Performance Optimization Opportunities Boudewijn Braams (Databricks)

The Parquet Format and Performance Optimization Opportunities Boudewijn Braams (Databricks)

Градиентный спуск, как обучаются нейросети | Глава 2, Глубинное обучение

Градиентный спуск, как обучаются нейросети | Глава 2, Глубинное обучение

How Machine Learning Can Achieve Data Quality Monitoring At Scale

How Machine Learning Can Achieve Data Quality Monitoring At Scale

So Fresh and So Clean: Learn How to Build Real-Time Warehouses on Lakehouse

So Fresh and So Clean: Learn How to Build Real-Time Warehouses on Lakehouse

Learn to Efficiently Test ETL Pipelines

Learn to Efficiently Test ETL Pipelines