Повышение пропускной способности LLM за счет оптимизации вывода данных в масштабе центра обработк...

Описание: Докладчик: Максим Хадкевич, старший менеджер по разработке программного обеспечения, Dynamo, NVIDIA

Хадкевич обсудит оптимизацию вывода данных в масштабе центров обработки данных для больших языковых моделей (LLM). В докладе будет рассмотрена архитектура Dynamo, с акцентом на такие методы, как дезагрегированное обслуживание для обработки отдельных задач предварительного заполнения и декодирования, маршрутизатор с поддержкой ключ-значение для повторного использования кэша ключ-значение и планировщик на основе SLO для автомасштабирования и перераспределения ресурсов. Узнайте, как Dynamo обеспечивает значительное повышение пропускной способности при обслуживании LLM.

➡️ Подробнее: https://developer.nvidia.com/dynamo

00:00 -- Введение: Оптимизация вывода данных в масштабе центра обработки данных
01:54 -- Понимание рабочих нагрузок вывода данных: предварительное заполнение против декодирования
03:26 -- Дезагрегированное обслуживание вывода данных
06:01 -- Маршрутизатор с поддержкой ключ-значение для повторного использования кэша ключ-значение
08:00 -- Планировщик на основе SLO для автомасштабирования и перебалансировки ресурсов
09:44 -- Менеджер блоков ключ-значение для разгрузки кэша ключ-значение
11:09 -- Решение проблем развертывания Kubernetes
12:46 -- AIConfigurator для оптимальной конфигурации дезагрегированного обслуживания
14:49 -- Архитектура и экосистема Dynamo
16:33 -- Начало работы с NVIDIA Dynamo

#DataCenterInference #LLMServing #DisaggregatedServing