Attention Residuals: крупнейший прорыв в ИИ со времен трансформеров

Описание: В этом видео речь пойдёт о статье об остаточных связях внимания (Attention Residuals), опубликованной компанией Moonshot AI, создавшей Kimi AI.
Долгое время остаточные связи основывались на фиксированном, равномерном накоплении. Вдохновлённые двойственностью времени и глубины, мы представляем остаточные связи внимания (Attention Residuals), заменяя стандартную рекуррентность по глубине на обучаемое, зависящее от входных данных внимание к предыдущим слоям.
Это позволяет сетям избирательно извлекать прошлые представления, естественным образом уменьшая разбавление и рост скрытого состояния.
Представляет блочные остаточные связи (Block AttnRes), разделяющие слои на сжатые блоки, что делает межслойное внимание практичным в масштабе.
Служит эффективной заменой, демонстрируя 1,25-кратное увеличение вычислительной мощности с незначительными (менее 2%) накладными расходами на задержку вывода.
Проверено на линейной архитектуре Kimi (всего 48 байт, 3 байта активированных параметров), обеспечивая стабильное повышение производительности.

Я подробно рассмотрел эту исследовательскую работу, вы также можете прочитать её здесь:
github.com/MoonshotAI/Attention-Residuals
Спасибо за просмотр!
Контакты: [email protected]