Спекулятивное декодирование: почему две LLM быстрее, чем одна

Описание: Попробуйте Voice Writer — озвучьте свои мысли, а ИИ позаботится о грамматике: https://voicewriter.io

Спекулятивное декодирование (или спекулятивная выборка) — это новая техника, при которой меньшая модель LLM (черновая модель) генерирует более простые токены, которые затем проверяются большей моделью (целевой моделью). Это ускоряет вычисление генерации без ущерба для точности.

0:00 — Введение
1:00 — Основные идеи
2:27 — Алгоритм
4:48 — Выборка с отклонением
7:52 — Зачем нужна выборка (q(x) - p(x))+
10:55 — Визуализация и результаты

Статья в Deepmind: https://arxiv.org/abs/2302.01318
Статья в Google: https://arxiv.org/abs/2211.17192