Экономичный ИИ: почему модель Inkling 975B MoE меняет всё. SWE-1.7, сокращенная цепочка рассуждений.

Описание: А что, если секрет следующего поколения ИИ заключается не просто в строительстве более крупных центров обработки данных, а в фундаментальном изменении того, как модели мыслят — и как мы их обучаем по всему миру?

Мы разбираем грандиозный проект на передовой ИИ: недавно выпущенную модель Inkling от Thinking Machines Lab.

С 975 миллиардами параметров Inkling — это не просто очередная масштабная модель «смешанных экспертов». Это изначально многомодальный движок, созданный с нуля для новой эры экономически эффективного интеллекта. Мы рассмотрим, как этот монстр служит основой для SWE-1.7, раздвигая абсолютные пределы разработки агентного программного обеспечения и задач с длительным горизонтом планирования.

Но настоящая история здесь — в инженерных решениях. Мы разбираем сложную логистику их отказоустойчивого распределенного конвейера обучения с подкреплением, охватывающего три континента. Мы рассмотрим математические основы стабилизации градиентной нормы, использование оптимизатора Muon для поддержания процесса обучения, а также захватывающую новую возможность, называемую «сжатой цепочкой мыслей», — когда ИИ буквально самокомпактизирует свои собственные рассуждения, чтобы значительно сократить вычислительные затраты.

Независимо от того, создаёте ли вы автономных агентов или просто пытаетесь идти в ногу с передовыми технологиями в области архитектуры ИИ, пристегнитесь. Давайте погрузимся в фреймворк Inkling.