Как Cursor обучали Composer на Fireworks: распределенная инфраструктура для высокопроизводительно...

Описание: Федерико Кассано из Cursor и Дмитрий Джулгаков из Fireworks объясняют, как они совместно создали Composer как специализированную базовую модель. Основная идея: модели имеют ограниченную емкость в своих весах, и выделение всех этих битов на единственную задачу разработки программного обеспечения в Cursor позволяет модели лучше справляться с этой задачей и гораздо эффективнее выполнять вывод. Вместо того чтобы начинать с предварительного обучения и постепенно его наращивать, они использовали нетрадиционный подход «сверху вниз» — обучение и обучение с подкреплением на основе открытого исходного кода для быстрого предоставления пользователям полезной модели, а затем специализацию модели под реальное использование Cursor. Благодаря распределенной инфраструктуре Fireworks, Composer обеспечивает производительность кодирования на уровне передовых технологий со скоростью гораздо меньшей модели.

Ведущая: Соня Хуанг, Sequoia Capital

00:00 Введение
00:53 Почему Composer 2 обучается с помощью курсора
04:55 Специализация против горького урока
06:16 Рецепт обучения Composer 2
16:32 Масштабирование инфраструктуры RL по всему миру
23:32 Дрейф чисел с плавающей запятой
25:11 Объяснение чувствительности MoE
26:25 Исправление ошибки воспроизведения маршрутизатора
27:19 Цикл RL в реальном времени
31:49 Агенты с долгосрочным горизонтом
34:29 Почему RL повсюду
37:34 LLM как награда для судей
39:14 RL в сложных областях
40:13 Создавайте собственные среды
44:34 Заключительные мысли