Специальный выпуск: Разрыв связи: Gated DeltaNet 2

Описание: #ai #исследования

https://github.com/NVlabs/GatedDeltaN...

Gated DeltaNet-2

В исследовательской работе представлена ​​Gated DeltaNet-2, рекуррентный слой внимания, разработанный для оптимизации управления памятью фиксированного размера в больших языковых моделях. В то время как предыдущие модели использовали один скаляр для одновременного управления удалением памяти и вставкой данных, эта новая архитектура разделяет функции удаления и записи с помощью независимых канальных вентилей. Это разделение позволяет модели точно удалять устаревшую информацию, не нарушая новые ассоциации, что значительно улучшает производительность в задачах поиска длинного контекста и рассуждений. Авторы демонстрируют, что этот подход поддерживает высокую эффективность обучения, превосходя конкурентов, таких как Mamba-2 и KDA, в различных тестах языкового моделирования. Эмпирически, основное преимущество модели заключается в ее способности уменьшать помехи между сжатыми ассоциациями, что делает ее исключительно эффективной для поиска «иголки в стоге сена». Благодаря интеграции этого развязанного правила обновления с механизмом внимания со скользящим окном, гибридная архитектура достигает самых современных результатов, сохраняя при этом линейные вычислительные затраты.

------------------------------------
Поддержите мой канал:
Купите мне кофе: https://www.buymeacoffee.com/vinhnx
Patreon:   / vinhnx  
Спонсор на GitHub: https://github.com/sponsors/vinhnx

Привет, я Винь Нгуен (@vinhnx в интернете), программист, обучающийся на практике и увлеченный тем, чтобы сделать ИИ и машинное обучение более понятными. На своем канале YouTube я разбираю сложные научные работы по ИИ, технические отчеты и новые инструменты на простые, короткие видеоролики и длинные подкасты. Используя такие инструменты, как NotebookLM, я преобразую сложную информацию в практические советы, чтобы вы могли оставаться в курсе быстро развивающегося мира ИИ, не чувствуя себя перегруженными. На моём GitHub я публикую в открытом доступе все свои работы по прикладному ИИ. В Twitter/X я регулярно публикую твиты, делюсь советами по обучению, техническими исследованиями и всем тем, что, как я надеюсь, будет полезно другим. Если вас интересует ИИ, машинное обучение и новые технологии, вы попали по адресу. Надеюсь, мы сможем узнавать что-то новое каждый день. Спасибо и хорошего дня!

Отказ от ответственности: это видео создано с помощью Google NotebookLM.