Всё, что я узнал об обучении передовых компактных моделей — Максим Лабонн, Liquid AI

Описание: Появляется новый класс небольших моделей, способных надежно следовать инструкциям и вызывать инструменты, работая на устройстве с объемом памяти менее 1 ГБ. В этом докладе мы подробно рассмотрим, как проводить постобучение перспективных небольших моделей, используя методологию LFM2.5: согласование предпочтений в рамках политики, агентное обучение с подкреплением и обучение по учебной программе с итеративным слиянием моделей. Мы рассмотрим проблемы обучения, характерные для масштаба в 1 миллиард, такие как циклы ошибок, интерференция возможностей, и способы их решения. Цель — предоставить вам конкретное руководство по тонкой настройке и развертыванию небольших моделей для ваших собственных задач, от извлечения структурированных данных до использования многоэтапных инструментов.


Информация о докладчике:
https://x.com/maximelabonne
  / maxime-labonne  
https://github.com/mlabonne

Временные метки:
0:00:00 - Начало
0:00:14 - Введение в передовые модели малых объектов на Liquid AI
0:01:02 - Характеристики: ограниченность памяти, специфичность для задачи, чувствительность к задержке
0:02:20 - Архитектура: почему большие слои встраивания неэффективны
0:04:01 - Архитектура LFM2: использование коротких сверток с вентилями для повышения скорости
0:06:09 - Рецепт LFM 2.5: токены 28T и этапы после обучения
0:08:34 - После обучения: SFT, выравнивание предпочтений и лучшие практики RL
0:10:43 - Выявление «циклов обреченности» в моделях рассуждений
0:11:34 - Решения: смягчение циклов за счет выравнивания предпочтений и обучения с подкреплением
0:15:29 - Перспективы на будущее: использование агентных инструментов для преодоления ограничений памяти
0:17:58 - Вопросы и ответы: реальные приложения для малых и больших моделей