Строительные блоки LLM и альтернативы трансформаторам

Описание: Ресурсы:
Понимание и кодирование KV-кэша в LLM с нуля: https://magazine.sebastianraschka.com...
Сравнение крупных архитектур: https://magazine.sebastianraschka.com...
За пределами стандартных LLM: гибриды линейного внимания, диффузия текста, модели кодового мира и небольшие рекурсивные преобразователи
Книга «Рассуждение с нуля»: https://mng.bz/Nwr7

Описание:
Изучите основные компоненты современных больших языковых моделей (LLM) на основе преобразователей и практические методы, которые ускоряют и удешевляют вывод. Мы рассмотрим Grouped-Query Attention (GQA), Multi-Head Latent Attention (MLA) и Sliding Window Attention (SWA), покажем, какое место смешанный экспертный подход (MoE) занимает в современных архитектурах, и завершим обзором перспективных альтернатив и гибридных моделей, выходящих за рамки стандартных трансформеров.

Главы:

00:00 Введение
01:13 Основная тема: более крупные модели и более дешевый вывод
02:13 Grouped-Query Attention (GQA)
05:44 Multi-Head Latent Attention (MLA)
09:51 Sliding Window Attention (SWA)
13:57 Mixed-Experts
17:01 LLM и альтернативы трансформерам

#LLM #Transformers #DeepLearning #MachineLearning #Inference #MoE #GQA #MLA #SWA #KVCache