SGLang: Высокопроизводительный фреймворк для инференса LLM и мультимодальных моделей

Описание: SGLang: Высокопроизводительный фреймворк для инференса LLM и мультимодальных моделей

Обзор архитектуры, установки и production-деплоя SGLang от LMSYS. Поддержка P/D disaggregation, speculative decoding, multi-LoRA и day-0 моделей.

Статья: https://dudarik.com/blog/sglang/

Dudarik: AI-инструменты, агенты и инфраструктура.