Новый способ обучения нейросетей — manifold Muon

Описание: 🔥 Наш Telegram канал о машинном обучении: https://t.me/+Hkjl0BpY1v80YzYy
📌 Папка лучших ИИ каналов - https://t.me/addlist/8vDUwYRGujRmZjFi

Thinking Machines предложила новый способ обучения нейросетей — manifold Muon, который делает веса более стабильными и предсказуемыми.

🔑 Суть метода:

Веса ограничиваются на специальной математической поверхности (многообразии Стифеля), где они не могут «разъехаться».

Размер обновлений контролируется через спектральную норму, чтобы шаги обучения не искажали сеть слишком сильно.

Обновления считаются в касательном пространстве и возвращаются обратно на многообразие.

📊 На тестах CIFAR-10 метод оказался точнее AdamW и удерживал веса в стабильном диапазоне, хотя шаги обучения занимали больше времени.

🎯 Главная идея — ИИ может давать последовательные и надёжные ответы. То, что сейчас считается «рандомностью» моделей, авторы называют исправимым багом.

Это может стать основой для создания безопасных AGI-систем, где нельзя допускать хаотичное поведение модели.

https://thinkingmachines.ai/blog/modu...

#Python #Программирование #Разработка #Python3 #Backend #Frontend #DataScience #MachineLearning #ArtificialIntelligence #DeepLearning #WebDevelopment #Django #Flask #FastAPI #API #REST #Scripting #Automation #DevOps #DataAnalysis #Pandas #NumPy #Matplotlib #Seaborn #Jupyter #BigData #CloudComputing #AWS #Azure #GoogleCloud #Testing #PyTest #UnitTest #CI_CD #Databases