VLA: Устойчивость к катастрофическому забыванию

Описание: В этом выпуске обзора исследований в области ИИ Алекс обсуждает статью: «Предварительно обученные модели «зрение-язык-действие» удивительно устойчивы к забыванию в процессе непрерывного обучения». Традиционные модели роботов часто страдают от катастрофического забывания при изучении новых навыков с течением времени. Это исследование показывает, что крупномасштабные предварительно обученные модели «зрение-язык-действие» (VLA) значительно более устойчивы к забыванию, чем меньшие модели, обученные с нуля. Исследование показывает, что простые методы воспроизведения опыта очень эффективны для VLA, даже при минимальном объеме данных для воспроизведения. Предварительное обучение коренным образом меняет динамику обучения, позволяя этим моделям сохранять знания из предыдущих задач во время нового обучения. Даже когда производительность падает, базовые знания сохраняются, что позволяет быстро восстанавливать навыки путем тонкой настройки. Ссылка на статью: https://arxiv.org/pdf/2603.03818 #AI #MachineLearning #DeepLearning #Robotics #ContinualLearning #VLA #FoundationModels