Гениальная архитектура Kimi K3

Описание: В этом видео мы разбираем архитектуру Kimi K3 от Moonshot AI — масштабную модель смешанных экспертов (Mixture-of-Experts, MoE) с открытыми весами, имеющую 2,8 триллиона параметров и сопоставимую с лучшими моделями с закрытым исходным кодом.

Мы подробно изучаем техническую документацию, чтобы рассмотреть ключевые архитектурные инновации, такие как Kimi Delta Attention (KDA), Attention Residuals, Stable LatentMoE с Quantile Balancing, встроенное многомодальное зрение с MoonViT-V2 и инфраструктура микровиртуальных машин AgentENV для агентного обучения с подкреплением на долгосрочный горизонт.

Свяжитесь со мной 🤝
• LinkedIn:   / george-kintu-k  
• X: https://x.com/gk_kintu
• IG:   / kintugk  

Ссылки 🔗
• Статья о Kimi K3 (arXiv): https://arxiv.org/abs/2607.24653v1
• Репозиторий Kimi K3 Hugging Face: https://huggingface.co/moonshotai/Kim...
• Репозиторий AgentENV на GitHub: https://github.com/kvcache-ai/AgentENV

По вопросам сотрудничества:
📧 [email protected]
Характеристики ПК:
Видеокарта: Nvidia RTX 5060 Ti 16 ГБ: https://amzn.to/4rU7xRy
Оперативная память: 64 ГБ 4x16 ГБ Kingston Fury: https://amzn.to/473HoaG

⏱️ Таймкоды
0:00 Вступление: Kimi K3 и изменения в подходе к открытым весам
0:45 Контекстное окно 1M и гибридное внимание KDA
2:09 Объяснение остаточных значений внимания (AttnRes)
2:38 Стабильная латентная MoE и экспертная маршрутизация (параметры 2,8T)
3:52 Квантильная балансировка (QB) и защитные механизмы SiTU-GLU
4:37 Нативная мультимодальная визуализация с MoonViT-V2
5:04 Обучение агентов, микровиртуальные машины AgentENV и частичное развертывание
6:52 Производительность, тесты кода и экономическая эффективность
8:02 Локальное развертывание и заключительные мысли
#KimiK3 #MoonshotAI #OpenSourceAI #AIAgents #ИскусственныйИнтеллект #МашинноеОбучение #LLM