Coconut от Meta: как ИИ мыслит без слов | Цепочка непрерывного мышления простыми словами

Описание: Coconut (Цепочка непрерывного мышления) учит модели мышления рассуждать векторами, а не словами.

Цепочка мышления заставляла модели рассуждать, записывая каждый шаг в виде текста. Но большинство этих слов — это беглость речи и связующее звено, а не реальные вычисления, и модель выбирает один путь, один токен за раз. Coconut от Meta задает простой вопрос: что, если бы модель могла думать вообще без слов?

Вот основная идея. Возьмите последнее скрытое состояние модели — плотный вектор, который она создает перед следующим токеном, — и назовите его «непрерывной мыслью». Вместо того чтобы декодировать его в слово, сразу же подайте его обратно в качестве следующего входного векторного представления. Рассуждения никогда не выходят за пределы векторного пространства.

Как это работает:
Два режима: языковой режим (обычные токены) и латентный режим (тихие непрерывные мысли), переключаемые маркерами начала и конца мысли.

Обучение проводится по многоступенчатой ​​программе, которая постепенно заменяет письменные шаги латентными мыслями. Пропуск учебной программы не удался.

— Непрерывная мысль может содержать несколько потенциальных шагов одновременно, что больше похоже на поиск в ширину.

Цифры: на ProsQA, бенчмарке для планирования графов, Coconut достиг примерно 97 процентов с примерно 14 скрытыми мыслями, против примерно 77 процентов для модели цепочки мыслей того же размера, использующей почти 50 токенов. Он отстает на уровне школьной математики, где явные слова все еще помогают.

Используйте его при планировании и поиске, когда вы можете обучить модель. Дважды подумайте, когда вам нужна проверяемая логика.

Поняли ли вы, что непрерывное мышление стало понятным? Следите за разборами GenAI простым языком.

#GenAI #LLM #AIReasoning #MachineLearning #DeepLearning