Что такое «нейронная энтропия» в физических моделях диффузии?

Описание: 🎲 Бесплатный курс по машинному обучению:
https://compu-flair.com/physics-inspi...

🚀 Подайте заявку на наш буткемп:
https://compu-flair.com/bootcamp

В этом видео доктор Ардаван (Ахмад) Борзу объясняет нейронную энтропию как инструмент «учета информации», учитывающий затраты на генерацию структуры из шума. Нейронная энтропия — это мера направляющей силы, которую сеть должна обеспечить, чтобы компенсировать потерю различимости, присущую процессу зашумления.
Используя дивергенцию Кульбака-Лейблера и обученные сигналы управления, диффузионные модели смещают случайные флуктуации в сторону паттернов, обнаруженных в обучающих данных.
В видео также рассматривается, как различные графики шума изменяют этот «информационный счет», изменяя скорость удаления структурных данных. В конечном итоге, эта перспектива рассматривает генеративный ИИ не как простую случайность, а как активное внедрение направляющей силы, необходимой для компенсации необратимости процесса диффузии.

📚 Полезная ссылка:
• Нейронная энтропия: https://arxiv.org/abs/2409.03817

📺 Разделы
00:00 - Скрытая стоимость изображений, созданных с помощью ИИ
00:26 - Бесплатные курсы по машинному обучению
01:07 - Потеря информации в диффузии
01:40 - Определение нейронной энтропии
02:49 - Как шум стирает информацию
04:01 - Энтропия и необратимость
05:34 - Использование дивергенции Кульбака-Лейблера для управления моделью
06:18 - Как работают диффузионные модели
07:24 - Нейронная энтропия и планирование шума
08:51 - Стоимость восстановления изображения
09:56 - Цикл разрушения и построения изображения
10:42 - Физический взгляд на нейронную энтропию
11:10 - Диффузионные модели и информационная работа