Mixture of Experts (MoE) простыми словами: архитектура + разбор кода
Автор: Рома Филонов | AI, больно
Загружено: 2026-02-03
Просмотров: 1217
Описание:
В этом видео разбираем как устроены все современные LLM, как в них используется техника Mixture of Experts, показываю примеры в коде и рисую
🤓Интерактивная база вопросов с собесов - https://botayinterview.site
💻Больше полезного в моем телеграм канале - https://t.me/Ai_bolno_ml
💐Консультация, подготовка к собеседованию - https://filonov.site
ТАЙМКОДЫ:
00:00 - Старт
00:41 - Что-то важное
01:16 - Повторение: генерация текста
04:01 - Повторение: трансформер
07:44 - Повторение: операция декодирования
09:00 - Начинаем MoE
10:04 - Основная идея MoE
11:10 - Есть проблема
12:04 - Router
13:40 - Разбираем пример
16:53 - Сколько реально параметров в LLM
18:33 - Кодингггггг
22:33 - Телеграм подпишись!
25:50 - Финал!
Материалы:
Супер круто видео - • A Visual Guide to Mixture of Experts (MoE)...
Разбор с кодом более полный - https://huggingface.co/blog/AviSoori1...
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке:
![Цепи Маркова — математика предсказаний [Veritasium]](https://imager.clipsaver.ru/QI7oUwNrQ34/max.jpg)
