LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Описание: Как большие языковые модели работают под капотом.

Ранний доступ к видео для участников Patrion: https://3b1b.co/early-attention
Отдельное спасибо следующим участникам:
https://3b1b.co/lessons/gpt#thanks

Звуковая дорожка на русском языке: Влад Бурмистров.

Другие рекомендуемые ресурсы по теме.

Введение Ричарда Тёрнера - одна из лучших отправных точек:
https://arxiv.org/pdf/2304.10557.pdf

Кодирование GPT с Андреем Карпатым
   • Let's build GPT: from scratch, in code, sp...  

Введение в "self-attention" от Джона Хьюитта
https://web.stanford.edu/class/cs224n...

История языковых моделей от Брит Круз:
   • The 35 Year History of ChatGPT  

Статья с такими примерами, как “woman - man”:
https://arxiv.org/pdf/1301.3781.pdf

------------------

Таймкоды

0:00 - Predict, sample, repeat
3:03 - Inside a transformer
6:36 - Chapter layout
7:20 - The premise of Deep Learning
12:27 - Word embeddings
18:25 - Embeddings beyond words
20:22 - Unembedding
22:22 - Softmax with temperature
26:03 - Up next

------------------
Эти анимации в основном были созданы с помощью собственной библиотеки Python под названием manim. Частые вопросы доступны здесь:
https://3b1b.co/faq#manim
https://github.com/3b1b/manim
https://github.com/ManimCommunity/manim/

Весь код для отдельных видео доступен здесь:
https://github.com/3b1b/videos/

Музыка Винцента Рубинетти.
https://www.vincentrubinetti.com
https://vincerubinetti.bandcamp.com/a...
https://open.spotify.com/album/1dVyjw...

------------------

3blue1brown - это канал про анимацию математики, во всех смыслах слова анимация. Если Вы прочитали это описание до конца, то наверное Вы интересуетесь этими уроками больше, чем средне-статистический зритель. Мне будет очень приятно, если Вы будете следить на новостями, либо подписавшись на этот канал YouTube, либо на любой из указанных ниже платформ.

Mailing list: https://3blue1brown.substack.com
Twitter:   / 3blue1brown  
Instagram:   / 3blue1brown  
Reddit:   / 3blue1brown  
Facebook:   / 3blue1brown  
Patreon:   / 3blue1brown  
Website: https://www.3blue1brown.com