Квантили в масштабе: выбор подходящих алгоритмов оценки для наблюдаемости — Майк Ши

Описание: Не пропустите! Присоединяйтесь к нам на следующих мероприятиях KubeCon + CloudNativeCon в Мумбаи, Индия (18-19 июня 2026 г.), Йокогаме, Япония (29-30 июля 2026 г.) и Шанхае, Китай (8-9 сентября 2026 г.). Познакомьтесь с нашими текущими проектами, находящимися на стадии завершения разработки, инкубации и тестирования, поскольку сообщество собирается вместе для дальнейшего обучения и развития облачных вычислений. Узнайте больше на https://kubecon.io

Квантили в масштабе: выбор правильных алгоритмов оценки для мониторинга — Майк Ши, ClickHouse

Квантили, такие как p90 и p99, лежат в основе мониторинга. Они определяют панели мониторинга, определяют SLO и формируют подход команд к оценке производительности системы. Они также являются одними из самых дорогостоящих в вычислении метрик, и стоимость быстро растет по мере увеличения объемов данных.

Чтобы идти в ногу со временем, системы мониторинга в значительной степени полагаются на алгоритмы приблизительного квантиля, такие как эскизы и вероятностные структуры данных, включая t-дайджест. Эти подходы хорошо работают в малых и средних масштабах, но при объеме данных в десятки или сотни петабайт начинают возникать проблемы и становятся очевидны ограничения.

Мы делимся ценным опытом работы с ClickHouse в экстремальных масштабах, где оценка квантилей должна оставаться точной и доступной для сотен петабайт данных. Мы разбираем наиболее распространенные алгоритмы квантиля, используемые сегодня в системах мониторинга, объясняем их реальные компромиссы и показываем, когда каждый подход имеет смысл. Мы также рассматриваем критически важное проектное решение: когда квантили следует вычислять на лету во время запроса, а когда предварительно агрегировать во время загрузки данных.

Цель состоит в том, чтобы предоставить вам практическую основу для выбора масштабируемых алгоритмов квантиля, а не слепо полагаться на значения по умолчанию, которые перестают работать по мере роста объема данных.