Разбор статьи Adam: A Method for Stochastic Optimization (Part 1)

Описание: Paper: https://arxiv.org/abs/1412.6980
Докладчик - https://t.me/boris_again
Слушает - https://t.me/tech_priestess

Часть 2 -    • Разбор статьи Adam: A Method for Stochasti...  

В первой части видео рассказывается про общие принципы того, как устроен градиентный спуск с моментом и интуицию, стоящую за методом Adam. Во второй части видео докладчик проходится по самой статье, и мы постепенно переключаемся в режим свободного обсуждения формул и теорем. Поскольку мы не являемся специалистами по теории оптимизации, правильность всего сказанного в видео не гарантируется. А если вы нашли ошибку или можете дополнить обсуждение, не забудьте рассказать об этом в комментариях!

Ссылка на демонстрацию и статью, показанную в первом видео: https://distill.pub/2017/momentum/ .