LLM Inside: выжимаем максимум из decoder attention на GPU / Андрей Шукшов
Автор: Yandex for Backend
Загружено: 2025-10-18
Просмотров: 535
Описание:
На конференции «Я про бэкенд» Андрей Шукшов, старший разработчик в команде оптимизаций инференса Яндекс R&D, рассказал, как выжать максимум из decoder attention на GPU. Он разобрал архитектуру современных графических процессоров и объяснил, как добиться максимальной производительности при реализации ключевого примитива LLM: механизма внимания в декодере.
Доклад будет особенно полезен разработчикам, которые уже работали с CUDA и хотят глубже понять устройство GPU и внутренние процессы больших языковых моделей.
Больше полезных материалов про бэкенд: https://t.me/+aN8Rc-4YJtVlZWZi
#япробэкенд #яндекс #backend #бэкенд #архитектура #highload #инфраструктура #ml #ai #llm #yandextech #разработка #инженерия #devops #ydb #автотранспорт #алиса #рекомендации
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке:
![F[Scala] 2025](https://ricktube.ru/thumbnail/Lnby41Hp930/mqdefault.jpg)
