Spiking Brain-inspired Large Models

Описание: Большие модели, вдохновленные спайковым мозгом

В данном документе представлена SpikingBrain, семейство больших языковых моделей (LLM), вдохновленных принципами работы мозга, разработанных для решения проблем эффективности LLM на основе Transformer. Модели ориентированы на эффективное обучение и вывод в длинном контексте, с использованием кластера MetaX1GPU. SpikingBrain использует линейные и гибридно-линейные архитектуры внимания с адаптивными спайковыми нейронами, а также алгоритмические оптимизации, такие как обучение на основе преобразования и специальная структура кодирования спайков. Системная инженерия включает в себя специализированные среды обучения, библиотеки операторов и стратегии параллелизма, адаптированные к оборудованию MetaX. В статье представлены SpikingBrain-7B и SpikingBrain-76B, демонстрирующие возможность разработки крупномасштабных LLM на платформах, отличных от NVIDIA. Эти модели достигают сопоставимой производительности с базовыми моделями Transformer при значительно меньших ресурсах данных и повышенной эффективности обучения длинным последовательностям. Исследование изучает потенциал механизмов, вдохновленных мозгом, для продвижения следующего поколения эффективных и масштабируемых больших моделей.
#БольшиеЯзыковыеМодели #ВдохновленоМозгом #СпайковыеНейронныеСети #Эффективность #MetaX

документ - http://arxiv.org/pdf/2509.05276v1
подписаться - https://t.me/arxivpaperu
отправить донаты:
USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr
ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e
создано с помощью NotebookLM