verl: Гибкая и масштабируемая библиотека обучения с подкреплением для логического мышления и вызо...

Описание: Verl — это гибкий и эффективный фреймворк для построения сквозных конвейеров обучения с подкреплением для моделей LLM. Он предоставляет удобную модель программирования гибридного контроллера, поддерживающую различные алгоритмы, такие как PPO/GRPO/DAPO, с лёгким масштабированием. Последние тенденции в моделях рассуждений создают новые проблемы для инфраструктуры RL, такие как эффективный вызов инструментов, многошаговое взаимодействие и возможность масштабирования до гигантских моделей MoE, таких как DeepSeek. Чтобы снизить барьер для RL в области сложных рассуждений и вызова инструментов, мы улучшаем Verl за счёт (1) эффективного асинхронного многошагового развертывания на уровне запросов и вызова инструментов, (2) интеграции с экспертным параллелизмом для крупномасштабных моделей MoE, (3) асинхронной системной архитектуры для алгоритмов RL вне политики/асинхронного обучения и гибкого размещения устройств.

Хайбин Лин работает над инфраструктурой LLM в Bytedance Seed, сосредоточившись на оптимизации производительности обучения для моделей LLM и моделей многомодального понимания и генерации на крупномасштабных кластерах, от предварительного обучения до постобучения. До прихода в Bytedance он работал над Apache MXNet (обучение, вывод результатов, среда выполнения и такие алгоритмы, как gluon-nlp).