Разреженная максимальная параметризация обновлений: комплексный подход к динамике разреженного об...

Описание: В этом видео мы представляем краткий обзор нашей статьи, представленной на конференции NeurIPS 2024, под названием «Параметризация разреженного максимального обновления: целостный подход к динамике разреженного обучения».

Статья: https://arxiv.org/abs/2405.15743
Код: https://github.com/EleutherAI/nanoGPT...