Вывод LLM — это проблема памяти, а не вычислительной мощности

Описание: Модель, которая подходит для вашей видеокарты, не обязательно подходит для реальных пользователей — и это видео объясняет, почему. Начиная с обманчиво простого развертывания, которое идеально работает для одного человека, но зависает для троих, видео рассматривает реальную арифметику вывода данных на GPU: почему веса — это только половина истории, что такое кэш ключ-значение и как он незаметно становится ограничением, которое ограничивает количество одновременных пользователей на вашем оборудовании. Используя реальное развертывание на одной видеокарте NVIDIA L4 с реальным нагрузочным тестом, вы можете наблюдать за сбоем в реальном времени, а затем за его устранением.

Решение оказывается всего в четырех строках конфигурации. Благодаря квантованию весов и квантованию кэша ключ-значение, та же видеокарта увеличивает количество одновременных разговоров с менее чем трех до более чем шестнадцати, при этом пропускная способность примерно в четыре раза возрастает по всему тесту — без нового оборудования, без замены модели, без заказа на покупку. В видео честно показано, чего это стоит в плане качества, где компромиссы действительно дают о себе знать (многоэтапное обоснование и генерация кода) и почему прирост пропускной способности не совсем соответствует прогнозам логов запуска движка. К концу вы узнаете, как читать эти логи до поступления первого запроса, почему вопрос «помещается ли он?» — неправильный вопрос для графического процессора, и на какие именно показатели следует обращать внимание при определении того, сколько пользователей может обслуживать ваша система инференции.

#GPUInference #KVCache #ModelQuantization

Рассмотрите возможность присоединиться к каналу:    / devopstoolkit  

▬▬▬▬▬▬ 🔗 Дополнительная информация 🔗 ▬▬▬▬▬▬
➡ Транскрипт и команды: https://devopstoolkit.live/ai/why-you...

▬▬▬▬▬▬ 💰 Спонсорство 💰 ▬▬▬▬▬▬
Если вы заинтересованы в спонсорстве этого канала, пожалуйста, посетите https://devopstoolkit.live/sponsor для получения дополнительной информации. Также вы можете связаться со мной через Twitter или LinkedIn (см. ниже).

▬▬▬▬▬▬ 👋 Свяжитесь со мной 👋 ▬▬▬▬▬▬
➡ BlueSky: https://vfarcic.bsky.social
➡ LinkedIn:   / viktorfarcic  

▬▬▬▬▬▬ 🚀 Другие каналы 🚀 ▬▬▬▬▬▬
🎤 Подкаст: https://www.devopsparadox.com/
💬 Прямые трансляции:    / devopsparadox  

▬▬▬▬▬▬ ⏱ Таймкоды ⏱ ▬▬▬▬▬▬
00:00 Память для вывода LLM
03:01 Математика VRAM для весов модели
04:35 Что такое кэш ключ-значение (KV-кэш)
07:32 Наблюдение за сбоем vLLM под нагрузкой
11:53 Как квантование освобождает VRAM
16:01 Во сколько обходится квантование
19:42 Квантование KV-кэша
Вывод — это проблема памяти