Transformer Model (1/2): Attention Layers

Автор: Shusen Wang

Загружено: 2021-04-16

Просмотров: 31294

Описание: Next Video: • Transformer Model (2/2): Build a Deep Neur...

The Transformer models are state-of-the-art language models. They are based on attention and dense layers without RNN. Instead of studying every module of Transformer, let us try to build a Transformer model from scratch. In this lecture, we eliminate RNNs while keeping attentions. We will get an attention layer and a self-attention layer. In the next lecture, we use attention, self-attention, and dense layers to build a deep neural network which is known as Transformer.

Slides: https://github.com/wangshusen/DeepLea...

Reference:
Vaswani et al. Attention Is All You Need. In NIPS, 2017.

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...

Transformer Model (1/2): Attention Layers

Доступные форматы для скачивания:

Скачать видео

Информация по загрузке:

Скачать аудио

Похожие видео

Transformer Model (2/2): Build a Deep Neural Network (1.25x speed recommended)

Transformer Model (2/2): Build a Deep Neural Network (1.25x speed recommended)

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Математика, лежащая в основе Attention: матрицы ключей, запросов и значений

Математика, лежащая в основе Attention: матрицы ключей, запросов и значений

C5W3L07 Внимание Модель Интуиция

C5W3L07 Внимание Модель Интуиция

Внимание — это все, что вам нужно

Внимание — это все, что вам нужно

Vision Transformer for Image Classification

Vision Transformer for Image Classification

Transformer Neural Networks, ChatGPT's foundation, Clearly Explained!!!

Transformer Neural Networks, ChatGPT's foundation, Clearly Explained!!!

Трансформерные нейронные сети — ОБЪЯСНЕНИЕ! (Внимание — это всё, что вам нужно)

Трансформерные нейронные сети — ОБЪЯСНЕНИЕ! (Внимание — это всё, что вам нужно)

Внимание — это всё, что вам нужно (Transformer) — объяснение модели (включая математику), вывод и...

Внимание — это всё, что вам нужно (Transformer) — объяснение модели (включая математику), вывод и...

Attention Models

Attention Models

Lecture 12.1 Self-attention

Lecture 12.1 Self-attention

Механизм внимания в двух словах

Механизм внимания в двух словах

The Narrated Transformer Language Model

The Narrated Transformer Language Model

Объяснение Transformers: понимание модели, лежащей в основе GPT, BERT и T5

Объяснение Transformers: понимание модели, лежащей в основе GPT, BERT и T5

CS480/680 Lecture 19: Attention and Transformer Networks

CS480/680 Lecture 19: Attention and Transformer Networks

Transformer: Concepts, Building Blocks, Attention, Sample Implementation in PyTorch

Transformer: Concepts, Building Blocks, Attention, Sample Implementation in PyTorch

Самовосприятие с использованием метода масштабированного скалярного произведения

Самовосприятие с использованием метода масштабированного скалярного произведения

Rasa Algorithm Whiteboard - Transformers & Attention 1: Self Attention

Rasa Algorithm Whiteboard - Transformers & Attention 1: Self Attention

Stanford CS25: V2 I Introduction to Transformers w/ Andrej Karpathy

Stanford CS25: V2 I Introduction to Transformers w/ Andrej Karpathy

Transformers for beginners | What are they and how do they work

Transformers for beginners | What are they and how do they work