Понимание причинного внимания или маскированного селф-аттеншена | Серия «Трансформеры для зрения»

Описание: Пошаговое объяснение причинно-следственного или маскированного самовнимания (используется в моделях GPT)

В этой лекции из серии «Трансформеры для зрения» мы подробно рассмотрим одну из важнейших концепций в архитектуре трансформеров — причинно-следственное внимание, также известное как маскированное самовнимание.

Эта лекция развивает ваше понимание механизма самовнимания и объясняет, как большие языковые модели, такие как GPT-2 и GPT-3, генерируют текст последовательно, токен за токеном, не заглядывая в будущее.

Мы начнем с краткого обзора самовнимания, разберемся в назначении преобразований запроса, ключа и значения, а затем перейдем к тому, почему причинно-следственное маскирование необходимо в авторегрессивных моделях. Вы шаг за шагом увидите, как применяется маскирование, как отрицательная бесконечность предотвращает утечку данных и как регуляризация с помощью Dropout обеспечивает надежное обучение.

К концу этой лекции вы получите четкое понимание:

Почему маскирование необходимо в моделях типа GPT

Как причинное внимание предотвращает утечку токенов в будущем

Как функции softmax и отрицательная бесконечность работают вместе в вычислении внимания

Как dropout помогает предотвратить переобучение в слоях внимания

Как формируются контекстные векторы в причинной среде

Эта лекция закладывает основу для понимания многоголовочного внимания, которое мы рассмотрим в следующем видео.

🔥 Две версии буткемпа

Бесплатная версия (плейлист YouTube) – следите за всеми лекциями в последовательности на этом канале.

Профессиональная версия (https://vision-transformer.vizuara.ai
) – включает в себя все возможности бесплатной версии, а также:

Подробные рукописные конспекты (Miro)

Закрытый репозиторий GitHub с кодом

Закрытое сообщество Discord для сотрудничества и разъяснения вопросов

Электронная книга в формате PDF по теме «Трансформеры для магистерских программ по визуальному и мультимодальному анализу»

Практические задания с оценкой

Официальный сертификат об окончании курса

Поддержка по электронной почте от команды Vizuara

👉 Запишитесь на профессиональный курс здесь:
http://vision-transformer.vizuara.ai/