CNN против трансформеров: разбираемся в трансляционной эквивариантности и инвариантности к перест...

Описание: В этом видео я проясняю некоторые недоразумения из моих предыдущих видео, разъясняя различия между трансляционной инвариантностью, трансляционной эквивариантностью и пермутационной инвариантностью в нейронных сетях. Я объясняю, как CNN и Transformer обрабатывают пространственную информацию совершенно по-разному:

CNN и трансляционная эквивариантность:
CNN разработаны таким образом, чтобы быть трансляционно эквивариантными. Их скользящие ядра с локальными рецептивными полями гарантируют, что если объект смещается на изображении, карты признаков смещаются соответствующим образом. Это означает, что изученный признак может быть обнаружен независимо от его положения благодаря совместному использованию весов и предположению, что соседние пиксели более связаны между собой.

Transformer и пермутационная инвариантность:
В отличие от этого, механизм самовнимания в Transformer является пермутационно инвариантным. Без позиционного кодирования Transformer обрабатывают входные данные как неупорядоченное множество, что означает отсутствие присущего им пространственного индуктивного смещения. Добавление позиционного кодирования вносит некоторую пространственную информацию, но не в такой степени, как сильное локальное смещение, заложенное в CNN.

Я объясняю эти концепции простыми словами, исправляю свои прежние заблуждения и показываю, почему эти проектные решения важны при сравнении CNN и Transformers.

Если вас интересует архитектура глубокого обучения, компьютерное зрение или вы просто хотите понять эти фундаментальные различия, это видео для вас!

Не забудьте поставить лайк, оставить комментарий и подписаться, чтобы получать больше информации об ИИ и глубоком обучении!

Ресурсы и социальные сети
GitHub: https://github.com/jbthejedi/
X: @jbthejedi   / jbthejedi  
Instagram:   / justinbarrythejedi  
LinkedIn:   / justin-barry-e  

#ГлубокоеОбучение #CNN #Transformers #МашинноеОбучение #ОбъяснениеИИ