Интуиция Q, K, V | Введение в механизм селф-аттеншн с обучаемыми весами

Описание: В этой лекции мы выйдем за рамки упрощенного механизма самовнимания и разберемся, как обучаемые веса делают большие языковые модели, такие как GPT, по-настоящему интеллектуальными.

Мы начнем с возвращения к упрощенному механизму самовнимания на основе скалярного произведения, где каждый токен обращает внимание на другие, основываясь только на исходных эмбеддингах. Хотя это давало интуитивное понимание, ему не хватало обучения — у модели не было параметров для обучения. В этом занятии мы исправим это, введя обучаемые матрицы весов для векторов запроса (Wq), ключа (Wk) и значения (Wv).

С помощью подробных объяснений, численных примеров и демонстрации кода мы узнаем, как эти матрицы преобразуют входные эмбеддинги в более осмысленные пространства представлений. Это преобразование позволяет модели вычислять оценки внимания, масштабировать их на квадратный корень из измерения ключа, нормализовать с помощью softmax, а затем объединять результаты для формирования богатых контекстных векторов.

К концу этой лекции у вас сложится кристально ясное представление о том, как запросы, ключи и значения взаимодействуют друг с другом, почему необходимо масштабирование и как формируются контекстные векторы с использованием обученных преобразований.

Мы также пошагово реализуем весь процесс в коде с помощью PyTorch — от определения матриц весов до вычисления масштабированного скалярного произведения внимания.

Что вы узнаете:

Почему прямого скалярного произведения недостаточно для механизма внимания

Роль WQ, WK и WV в изучении значимых взаимосвязей

Концепция масштабирования квадратным корнем из d и её математическое обоснование

Вывод формулы масштабированного скалярного произведения для механизма внимания
Attention(Q, K, V) = softmax((Q × Kᵀ) / √dₖ) × V

Как контекстные векторы улавливают глобальные зависимости в последовательности

Полный обзор реализации на PyTorch

🔥 Две версии буткемпа

Бесплатная версия (плейлист на YouTube) – следите за всеми лекциями в последовательности на этом канале.

Профессиональная версия (https://vision-transformer.vizuara.ai
) – включает в себя все возможности бесплатной версии, а также:
Подробные рукописные конспекты (Miro)
Закрытый репозиторий GitHub с кодом
Закрытое сообщество Discord для сотрудничества и разъяснения вопросов
Электронная книга в формате PDF по теме «Трансформеры для магистерских программ по визуальному и мультимодальному анализу»
Практические задания с оценкой
Официальный сертификат об окончании курса
Поддержка по электронной почте от команды Vizuara

👉 Запишитесь на профессиональный курс здесь:
http://vision-transformer.vizuara.ai/