NN - 16 - Регуляризация L2 / Уменьшение веса (Теория + код @PyTorch)

Описание: В этом видео мы рассмотрим регуляризацию L2, также известную как «уменьшение веса», разберёмся, как она работает, поймём её принципы и увидим её в действии с помощью кода Pytorch.

Плейлист NN: https://bit.ly/3PvvYSF

Станьте участником и получите полный доступ к этому онлайн-курсу:
https://meerkatstatistics.com/courses...

** 🎉 Специальная скидка YouTube 60% на годовую подписку — действует для первых 100 подписчиков; Код купона: First100 🎉 **

Программа курса «NN на Python»:
Введение
Администрирование
*Введение (подробное)
Блокнот — Введение в Python
Блокнот — Введение в PyTorch
Сравнение с другими методами
*Линейная регрессия против нейронных сетей
*Логистическая регрессия против нейронных сетей
*GLM против нейронных сетей
Выразительность/Ёмкость
*Скрытые слои: 0 против 1 против 2+
Обучение
*Обратное распространение — Часть 1
*Обратное распространение — Часть 2
*Реализация нейронной сети в NumPy
Блокнот — Повтор реализации: Классы вместо функций (NumPy)
Классификация — Softmax и кросс-энтропия — Теория
Классификация — Softmax и кросс-энтропия — Производные
Блокнот — Реализация классификации (NumPy)
Автодифференциация
Автоматическое дифференцирование
Прямой и обратный режимы
Симметрии в пространстве весов
Симметрии тангенса и перестановки
Notebook - симметрии тангенса, перестановки, ReLU
Обобщение
Обобщение и компромисс между смещением и дисперсией
Код обобщения
Регуляризация L2 / Уменьшение веса
Регуляризация DropOut
Notebook - DropOut (PyTorch)
Notebook - DropOut (NumPy)
Notebook - Ранняя остановка
Улучшенное обучение
Инициализация веса - Часть 1: Что НЕ делать
Notebook - Инициализация веса 1
Инициализация веса - Часть 2: Что делать
Notebook - Инициализация веса 2
Notebook - TensorBoard
Уменьшение скорости обучения
Notebook - Нормализация входных данных
Пакетная нормализация - Часть 1: Теория
Пакетная нормализация - Часть 2: Производные
Notebook - BatchNorm (PyTorch)
Notebook - BatchNorm (NumPy)
Функции активации
Классические активации
Варианты ReLU
Оптимизаторы
Варианты SGD: Momentum, NAG, AdaGrad, RMSprop, AdaDelta, Adam, AdaMax, Nadam - Часть 1: Теория
Варианты SGD: Momentum, NAG, AdaGrad, RMSprop, AdaDelta, Adam, AdaMax, Nadam - Часть 2: Код
Автокодировщики
Вариационные автокодировщики

Если вам нужна консультация по статистике, работа над интересными проектами или участие в обучающем семинаре, посетите мой сайт https://meerkatstatistics.com/ или свяжитесь со мной напрямую по адресу [email protected]

~~~~~ ПОДДЕРЖКА ~~~~~
Paypal Я: https://paypal.me/MeerkatStatistics
~~~~~~~~~~~~~~~~~~

Музыка для вступления/концовки: Dreamer — Джонни Граймс
   • Johny Grimes - Dreamer