Инжиниринг инференса — важнейший навык в ИИ прямо сейчас: 4-уровневый стек

Описание: =====================================================
Все упомянутые в сессии мастер-классы Vizuara, записанные на видео:

(1) Разработка vLLM и SGLang (начало 11 ноября 2026 г.): https://vllm-sglang.vizuara.ai/
(2) Разработка инференции, Фаза 1 + Фаза 2: https://inference.vizuara.ai/
(3) 5D-параллелизм: https://5d-parallelism.vizuara.ai/
Разработка ядра: https://kernelworkshop.vizuara.ai/
(4) Пакет GPU Trilogy (инференция, 5D-параллелизм, ядро): https://vizuara.ai/course-bundle/the-...
========================================================

Слайды (с шестиминутным видеороликом о стеке):
https://inference-stack-webinar.verce...

9-месячный учебный план для работающих специалистов (PDF):
https://inference-stack-webinar.verce...
========================================================

Когда большинство людей слышат «вывод», они представляют себе токены, появляющиеся по одному в окне чата. Это только начало. В этой сессии я расскажу об инженерии вывода с точки зрения ноября 2026 года: четыре слоя, каждый из которых опирается на предыдущий.

1. Основа: сама модель. Варианты механизма внимания (MHA, GQA, MQA, MLA), кэш ключ-значение и почему он потребляет много памяти, модели пространства состояний, такие как Mamba, смесь экспертов, квантизация, спекулятивное декодирование и предсказание нескольких токенов.

2. Среда выполнения: механизм обслуживания. vLLM и PagedAttention, SGLang и RadixAttention, TensorRT-LLM и почему понимание этих механизмов важно, если вы когда-либо захотите создать свой собственный.

3. Производство: множество графических процессоров. Разделение модели с 1 триллионом параметров между 8 графическими процессорами с параллелизмом тензоров, последовательностей, контекста и экспертов, а также дезагрегированным предварительным заполнением и декодированием.

4. Ядра: код, который выполняется на графическом процессоре. Почему наивное ядро ​​механизма внимания использует лишь малую долю H100, и как FlashAttention это меняет.

=====================================================

РАЗДЕЛЫ

00:00 Почему разработка алгоритмов вывода важна сейчас
01:15 Семинар по vLLM и SGLang начинается завтра
02:30 Вывод — это больше, чем просто токены на экране
03:50 Четыре уровня: основа, среда выполнения, производство, ядра
05:13 Фильм о стеке вывода
09:33 Уровень 1, Основа: модель
12:55 Варианты внимания: MHA, GQA, MQA, MLA
13:40 Кэш ключ-значение и почему он требует памяти
16:01 Размер кэша ключ-значение против качества: почему MLA имел значение
18:30 Кэш постоянного размера: модели линейного внимания и пространства состояний
22:49 Смесь экспертов: почему только 37 байт Параметры DeepSeek V3 активны
24:59 Спекулятивное декодирование и предсказание нескольких токенов
28:03 Слой 2, время выполнения: механизмы обслуживания
29:24 vLLM: PagedAttention, кэширование префиксов, графы CUDA
30:20 SGLang и RadixAttention
31:15 Квантование
33:28 TensorRT-LLM и создание собственного механизма вывода
36:28 Слой 3, производство: много графических процессоров
37:55 Разделение модели с 1 триллионом параметров между 8 графическими процессорами
41:01 Понимание параллелизма на бумаге, а не из блога
42:35 Дезагрегированное обслуживание и экспертный параллелизм
44:28 Время или деньги: студенты и работающие специалисты
46:07 Трилогия графических процессоров
47:16 Что нового: кэш KV DeepSeek на SSD
49:03 Слой 4, Ядра: код на GPU
51:03 Наивное внимание против FlashAttention
51:57 Весь стек на одной странице
55:05 Ресурсы для студентов
57:30 Почему компаниям нужны инженеры по инференции
58:26 Вопросы и ответы: стоит ли изучать, если платформы уже внедрили это в производство?

1:00:09 Вопросы и ответы: насколько глубоко изучаются семинары
1:00:55 Вопросы и ответы: какое портфолио ищут компании?

1:03:07 Сколько времени это занимает: от 8 до 10 месяцев интенсивной работы
1:05:53 Все записывается: планируйте свой год
1:07:56 Структура прохождения буткемпов
1:12:36 Пакет GPU Trilogy
1:13:54 Вопросы и ответы: Фаза инференции 2 и чем отличается семинар vLLM & SGLang
1:15:48 Нужен ли вам сильный Python?