Распределенный инференс промышленного уровня с использованием Ray Serve
Автор: Anyscale
Загружено: 2026-11-05
Просмотров: 659
Описание:
Разрабатывайте масштабируемые распределенные системы вывода для производственных приложений ИИ, от классических моделей машинного обучения до больших языковых моделей. Узнайте, как Ray Serve обеспечивает высокопроизводительную обработку данных с низкой задержкой, и как оценивать компромиссы в производительности при автомасштабировании, пакетной обработке, маршрутизации и оптимизации механизма вывода.
Темы включают:
Создание приложений Ray Serve с использованием развертывания, композиции и маршрутизации запросов с учетом нагрузки
Развертывание и масштабирование конечных точек LLM с помощью Ray Serve LLM на таких движках, как vLLM и SGLang
Оптимизация механизма вывода с помощью кэша ключ-значение, страничного внимания, префиксного кэширования и непрерывной пакетной обработки
Масштабирование перспективных моделей с помощью маршрутизации с учетом кэша ключ-значение, дезагрегации предварительного заполнения/декодирования и широкого параллелизма экспертов для моделей смешанных экспертов (MoE)
Развертывание пользовательских LLM на Anyscale и их интеграция с агентными платформами (Claude Code, Cursor, Codex)
Сравнение затрат на использование собственных графических процессоров, подписок и выставления счетов API на основе токенов.
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: