Уменьшение масштаба интеллекта: исследование узких мест восприятия и рассуждений в небольших муль...

Описание: В статье «Разукрупнение интеллекта: исследование узких мест в восприятии и рассуждениях в небольших мультимодальных моделях» систематически исследуются последствия сокращения размера ядра большой языковой модели (LLM) в мультимодальных системах с целью разработки более компактных и эффективных моделей. Исследование выявило поразительную тенденцию: разукрупнение LLM в первую очередь вредит *визуальным способностям**, а не способностям, унаследованным от базовой LLM. Раздельный анализ, разделяющий визуальное восприятие (фундаментальную способность распознавать и извлекать детали) и визуальное рассуждение (способность оперировать этими деталями), показал, что оба процесса являются центральными узкими местами в небольших мультимодальных моделях. Важно отметить, что изолирование влияния разукрупнения LLM на восприятие показало серьёзное ухудшение производительности, которое часто соответствовало или превосходило снижение, наблюдаемое в способности к рассуждению. Для преодоления этих двойных узких мест авторы предлагают высокоэффективную двухэтапную структуру **ИЗВЛЕЧЕНИЕ+РАЗМЫШЛЕНИЕ**: компонент «ИЗВЛЕЧЕНИЕ» использует **настройку визуального извлечения* для явного обучения модели последовательному извлечению визуальных деталей, релевантных инструкции, в то время как компонент «РАЗМЫШЛЕНИЕ» применяет *пошаговое обоснование* к извлеченному тексту для генерации окончательного ответа. Такой подход значительно повышает производительность, достигая впечатляющих результатов и демонстрируя исключительную эффективность с точки зрения параметров и обучающих данных по сравнению с предыдущими методами.

https://arxiv.org/pdf/2511.17487
https://web.stanford.edu/~markendo/pr...