Эксплуатация распределенных систем инференса в промышленном масштабе — Нишант Гупта и Наман Ахудж...

Описание: Объём трафика в Meta уже превосходит самые большие микросервисы в мире, что делает его самой быстрорастущей рабочей нагрузкой за всю историю. Нишант Гупта описывает будущее с точки зрения 2008 года. Облако начиналось с виртуальных машин, затем его ценность возросла до планировщиков, сервисных сетей и автомасштабировщиков, пока оркестровка не взяла на себя всю сложность и ценность. Искусственный интеллект идёт по тому же пути, но в сжатом виде за несколько лет, при этом оркестровка развивается вокруг маршрутизации, управления кэшем ключ-значение и дезагрегации декодирования предварительного заполнения. Его главный тезис — это взаимосвязь. Ни один из уровней не является новым. Что же нового: решение о маршрутизации изменяет коэффициент попадания в кэш, что изменяет состав пакета, что изменяет использование графического процессора, что изменяет следующий шаг автомасштабировщика. Запрос теперь представляет собой распределённую транзакцию, где каждый узел может повторить попытку, истечь по таймауту или завершиться с ошибкой; можно вывести из строя графический процессор после того, как было передано 200 токенов, и просто повторить попытку уже невозможно. Надёжность должна обеспечиваться на уровне управления, единственном уровне, который видит весь рабочий процесс.


Планировщик для инференции должен учитывать семь осей: поколение GPU, запас памяти, состояние кэша ключ-значение, готовность весов, приоритет арендатора, бюджет задержки и контекст рабочего процесса, поскольку неудача на третьем из пяти шагов приводит к потере ресурсов, уже затраченных на первом и втором шагах. Каждая оптимизация попадает в один из четырех квадрантов: избежать работы за счет кэширования, разделить ее с помощью пакетной обработки, переместить ее через маршрутизацию в более дешевую модель или регион, или отложить ее с помощью контроля доступа. В качестве метрики для оптимизации используется стоимость за успешно выполненную задачу, а не за токен. Наман Ахуджа продолжает: наблюдаемость как входные данные для контура управления, треугольник задержки, стоимости и пропускной способности, где каждое решение о предоставлении услуги ведет вас куда-то, и вывод о том, что инференции необходима собственная плоскость управления, подобно тому как виртуальным машинам нужен был Kubernetes.


Информация о спикере:
  / nishantgupta-ai  
https://buzzingtech.ai/
  / namanahuja  

Временные метки:
0:00 - Вывод данных — самая быстрорастущая рабочая нагрузка, которую когда-либо видела Meta
0:54 - 2008 год снова: ценность перемещается на уровень оркестрации
3:13 - Микросервисы против вывода данных, измерение за измерением
6:09 - Старые уровни, новая взаимосвязь
7:36 - Запрос — это распределенная транзакция
8:31 - Семь осей, которые должен видеть планировщик
10:19 - Избегать, делиться, перемещать или задерживать работу
12:36 - Каскадные сбои с особенностями кэша ключ-значение
16:19 - Треугольник задержки, стоимости и пропускной способности
17:00 - Выводу данных нужна собственная плоскость управления

---

Смотрите вместе с исправленной стенограммой, резюме, временными метками и ресурсами на Официальная страница этого доклада на AIE:
https://ai.engineer/talks/7c9FSUVcXR0...

Присоединяйтесь к нашим предстоящим конференциям для инженеров в области ИИ (см. целевую страницу https://ai.engineer):

AIEi Shanghai, 5–6 ноября — первая конференция для встреч с ведущими китайскими лабораториями и инженерами
AIE CODE в Сан-Франциско, 10–12 ноября — возвращается ведущая конференция по программированию в области ИИ
AIEi Sydney, 7–8 декабря — первая конференция AIEi, проводимая параллельно с NeurIPS 2026 в Сиднее

---