Что такое MaxOut в глубоком обучении?

Описание: 👨‍💻 Чтобы начать работу с разработкой ИИ, ознакомьтесь с этим курсом Scrimba: https://scrimba.com/the-ai-engineer-p...

MaxOut — это метод, представленный Яном Гудфеллоу в 2013 году, который позволяет изучать различные функции активации в каждом из своих модулей.

В этом руководстве мы рассмотрим, что такое сеть MaxOut и как она устроена, а также проверим её соответствие более современной архитектуре.

Содержание
Что такое Drop Out: 0:00
Drop Out против стохастического градиентного спуска: 0:52
Что такое MaxOut?: 1:27
MaxOut может обучаться функциям активации: 2:45
MaxOut — универсальный аппроксиматор: 4:02
Производительность MaxOut в бенчмарках: 4:41
MaxOut против выпрямителей: 5:50
Заключение: 8:08

Чтобы узнать больше о MaxOut, вот несколько интересных ссылок:
📌 [Статья] Сети MaxOut: https://arxiv.org/abs/1302.4389
📌 [Код] Очень простая для чтения реализация Pytorch: https://github.com/paniabhisek/maxout...
📌 [Статья] MaxOut против Relu на нескольких наборах данных: Оценка активаций maxout в глубоком обучении в нескольких областях больших данных: https://journalofbigdata.springeropen...

Аннотация:
«Мы рассматриваем задачу проектирования моделей, использующих недавно представленный метод приближенного усреднения модели, называемый dropout.

Мы определяем простую новую модель, называемую maxout (названную так потому, что ее выход представляет собой максимум набора входных данных, и потому, что она является естественным дополнением к dropout), предназначенную как для упрощения оптимизации с помощью dropout, так и для повышения точности быстрого метода приближенного усреднения модели, используемого dropout.

Мы эмпирически подтверждаем, что модель успешно справляется с обеими этими задачами. Мы используем maxout и dropout для демонстрации передовой эффективности классификации на четырех эталонных наборах данных: MNIST, CIFAR-10, CIFAR-100 и SVHN».

----
Присоединяйтесь к Discord для общего обсуждения:   / discord  

----
Подписывайтесь на меня здесь:

Twitter:   / yacineaxya  
GitHub: https://github.com/yacineMahdid
LinkedIn:   / yacinemahdid  
___

Хорошей недели! 👋