Swin Transformer V2 - Paper explained

Автор: Soroush Mehraban

Загружено: 2023-04-27

Просмотров: 5831

Описание: In this video, I explain how the swin transformer architecture is modified to make it more scalable and achieve better performance.

Paper link: https://arxiv.org/abs/2111.09883

Table of Content:
00:00 Intro
00:34 Scaling issue
03:41 res-post-norm
04:47 Scaled cosine attention
06:50 Scaling up window resolution
12:02 Continuous relative position bias
16:19 GPU Memory Optimization
19:17 Model configuration
19:49 Image classification comparison

Icon made by Freepik from flaticon.com

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...

Swin Transformer V2 - Paper explained

Доступные форматы для скачивания:

Скачать видео

Информация по загрузке:

Скачать аудио

Похожие видео

SHViT (CVPR2024): Single-Head Vision Transformer with Memory Efficient Macro Design

SHViT (CVPR2024): Single-Head Vision Transformer with Memory Efficient Macro Design

Swin Transformer — бумажное объяснение

Swin Transformer — бумажное объяснение

Masked Autoencoders (MAE) Paper Explained

Masked Autoencoders (MAE) Paper Explained

Swin Transformer paper animated and explained

Swin Transformer paper animated and explained

Transformers

Свин Трансформер

Свин Трансформер

Introduction to Swin transformer

Introduction to Swin transformer

Analyzing Swin Transformer: A Code Walkthrough

Analyzing Swin Transformer: A Code Walkthrough

Relative Position Bias (+ PyTorch Implementation)

Relative Position Bias (+ PyTorch Implementation)

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows (paper illustrated)

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows (paper illustrated)

CS480/680 Lecture 19: Attention and Transformer Networks

CS480/680 Lecture 19: Attention and Transformer Networks

Билл Гейтс В ПАНИКЕ: Утечки Windows 12 ПОТРЯСЛИ Мир Технологий!

Билл Гейтс В ПАНИКЕ: Утечки Windows 12 ПОТРЯСЛИ Мир Технологий!

Краткое руководство по Vision Transformer — теория и код за (почти) 15 минут

Краткое руководство по Vision Transformer — теория и код за (почти) 15 минут

Vector-Quantized Variational Autoencoders (VQ-VAEs)

Vector-Quantized Variational Autoencoders (VQ-VAEs)

Vision Transformer (ViT) Paper Explained

Vision Transformer (ViT) Paper Explained

Diffusion Models (DDPM & DDIM) - Easily explained!

Diffusion Models (DDPM & DDIM) - Easily explained!

Блокировка Telegram в России началась. Кто победит?

Блокировка Telegram в России началась. Кто победит?

Vision Transformer Basics

Vision Transformer Basics

Что такое модели-трансформеры и как они работают?

Что такое модели-трансформеры и как они работают?

Paper Review: Swin Transformer (Saher Fatima)

Paper Review: Swin Transformer (Saher Fatima)