Дайте мне 20 минут, и вы навсегда поймете, как работает KV-кэш

Описание: Не любите спецэффекты?    • Give Me 20 Minutes, and the KV Cache Will ...  
Не знакомы с понятием внимания?    • Give Me 21 Min, I Will Make Attention Clic...  
Не знакомы с трансформерами?    • Give me 100 min, I will make Transformer c...  

00:00 - Вступление: кэш и код
01:05 - Часть 1: повторение темы внимания, этап 1 (проекция QKV)
03:00 - Этап 2 (самовнимание), ходьба по «крановому механизму»
04:59 - Часть 2: какова стоимость внимания для всего запроса (предварительное заполнение)
07:53 - Часть 3: какова стоимость декодирования, один шаг и все M шагов
13:11 - Часть 4: кэш KV
15:56 - Что сохраняет кэш: предварительное заполнение + декодирование, этап за этапом
17:14 - Почему важна маска: два слоя, с ней и без нее
20:03 - Полный цикл кэширования

Хотите узнать, как использовать ИИ для понимания кодовой базы?

Ознакомьтесь с моей книгой: https://www.manning.com/books/crack-a...

Социальные сети:
X: https://x.com/ZacharyHuang12
LinkedIn:   / zachary-h-23aa37172  
Github: https://github.com/zachary62
Discord:   / discord  
Medium:   / zh2408  
Substack: https://zacharyhuang.substack.com/

Обо мне:
👋 Я Зак, исследователь в области ИИ в Microsoft Research AI Frontiers. В настоящее время я работаю над агентами и системами LLM. Это мой личный канал, где я делюсь уроками по созданию систем LLM. Я надеюсь, что эти учебные материалы станут обучающими данными для будущих агентов LLM, чтобы они могли разрабатывать лучшие системы для человечества еще долго после моей смерти. Предыдущий опыт: докторская степень в Колумбийском университете, лаборатория Gray Systems Lab в Microsoft, Databricks, стипендия Google для аспирантов.