#489

Описание: Начиная с видео 469, мы создавали каждый компонент обучающего процесса отдельно. Теперь мы объединяем их: GPT с двумястами тысячами параметров, три миллиона токенов и два процесса на двухъядерном процессоре — небольшие, но организованные точно так же, как в реальной системе. В видео 489 из цикла «Искусственный интеллект от нуля до наших дней», первом из трех видеороликов, завершающих модуль 13, мы задаемся вопросом: можем ли мы провести обучение в мини-лаборатории?

В этом видео:
• Один конфигурационный файл для всего запуска: модель, обучение и системные настройки
• Бюджет до начала выполнения: около 4 x 10^12 FLOPs, 3,5 МБ состояний и около 25 МБ активаций на процесс
• Данные: отложенное разделение, фильтры, восемь смешанных сегментов и упаковка в окна по 65 идентификаторов (одиннадцать эпох)
• Этап обучения: сегментированные пакеты, all-reduce, защита от NaN, обрезка, разогрев и косинусное преобразование, логирование и контрольные точки
• 30-шаговый тест запуска: потери от 5,37 до 3,06, конечные градиенты и прогнозирование времени для всего запуска
• Неожиданный поворот: почему необученная модель начинает с логарифмом 97 и как выглядит чистый старт

⏱ Разделы
0:00 Введение
0:34 Вводный вопрос
1:05 Краткий обзор
1:35 1. План
3:03 2. Данные
4:25 3. Шаг
5:14 4. Запуск
6:05 Вопрос-загадка
7:16 Итоговая доска
8:00 Проверка цели
8:44 Попробуйте сами
9:04 Следующее видео
9:24 Заключение

📚 Об этой серии
Серия «Искусственный интеллект от нуля до сегодняшнего дня» строит всю тему ИИ с нуля: идеи, математика и код, пока вы не сможете сами создать настоящий ИИ. Одна идея в каждом видео, объясненная полностью и простым языком.

▶ Ссылка на Google Drive: https://drive.google.com/drive/folder...
🔔 Подпишитесь на LetsLearn AI, чтобы получать новые уроки по ИИ каждую неделю

💬 Вопросы? Оставляйте их в комментариях. Я читаю все.

#LLM #МашинноеОбучение #ИзучениеИИ