Как дообучить LLM с помощью LoRA Fine-tuning

Описание: Дообучение моделей — ключевой шаг для адаптации больших языковых моделей под специфические задачи бизнеса. Технология LoRA (Low-Rank Adaptation) позволяет эффективно дообучать модели, минимизируя количество изменяемых параметров.

11 марта провели практический вебинар, на котором подробно рассмотрели все аспекты дообучения моделей с помощью нового инструмента LoRA Fine-tuning в сервисе Yandex Foundation Models.

На вебинаре обсудили:

вопрос необходимости дообучения больших языковых моделей;

основные принципы и преимущества дообучения с LoRA;

запуск процесса через ML SDK: практические шаги и рекомендации;

настройки и гиперпараметры для оптимизации процесса;

методы отслеживания прогресса дообучения и оценки результатов;

пример работы с готовой моделью после дообучения.

Вебинар будет полезен практикующим разработчикам, которые уже имеют опыт работы с языковыми моделями и хотят узнать больше о технологиях дообучения.