Практичне Машинне Навчання Лк 10 - Генерація Тексту, ЛЛМ

Описание: ⚡ Практичне Машинне Навчання — Лекція 10: Генерація тексту та LLM

У цій лекції ми зосередимося на тому, як сучасні моделі генерують текст. Розглянемо Encoder–Decoder та Decoder-only архітектури: як вони працюють і для яких задач застосовуються. Також поговоримо про великі мовні моделі (LLM), їх принципи роботи та сфери використання.

📌 Що ви дізнаєтесь:
• Як відбувається генерація тексту у трансформерах
• Decoder-only моделі: GPT-підхід та їх сильні сторони
• Encoder–Decoder моделі: де використовується cross-attention і чому це важливо
• ЛЛМ: як навчаються, де використовуються.

Лекцію підготовлено в Харківському національному університеті радіоелектроніки (ХНУРЕ), кафедра автоматизації проєктування обчислювальної техніки (АПОТ).

💻 Посилання на google colab ноутбук ноутбук: https://colab.research.google.com/dri...

📚 Таймкоди:
00:00 Інтро
01:21 Енкодер/Декодер/Енкодер-Декодер порівняння
10:20 Трансформери vs РНН
16:50 Генерація токенів
22:50 Тренування декодерів (next token prediction)
37:31 Пересічна-Увага (Cross Attention)
43:08 Самарізація тексту (Encoder-Decoder)
49:45 Самарізація тексту (Decoder-only)
01:02:26 Великі Мовні Моделі (LLM)
01:28:07 Обмеження ЛЛМ
01:33:52 Памʼять ЛЛМ
01:35:05 Chain-of-Thought промпти
01:37:04 Візуальні Трансформери
01:42:20 Висновки