Почему разделение фаз префилла и декодинга ускоряет работу LLM | vLLM, LLM-D и NIXL

Описание: 00:00 Введение и почему важна дезагрегация предварительного заполнения/декодирования
00:50 Предварительное заполнение и декодирование: объяснение
02:32 Почему необходимо разделять предварительное заполнение и декодирование?

04:16 Показатели производительности TTFT и TPOT
06:52 Преимущества дезагрегации
08:57 Проблема передачи данных в кэше ключ-значение
10:04 Объяснение RDMA, InfiniBand и RoCE
12:31 Передача данных в кэше ключ-значение в vLLM NIXL
13:22 Архитектура LLM-D и маршрутизация запросов
15:04 Сквозной рабочий процесс предварительного заполнения → декодирования
18:00 Жизненный цикл и очистка кэша ключ-значение
19:16 Заключение