BERT: transfer learning for NLP

Автор: Lennart Svensson

Загружено: 2021-09-10

Просмотров: 11658

Описание: In this video we present BERT, which is a transformer-based language model. BERT is pre-trained in a self-supervised manner on a large corpus. After that, we can use transfer learning and fine-tune the model for new tasks and obtain good performance even with a limited annotated dataset for the specific task that we would like solve (e.g., a text classification task).

The original paper: https://arxiv.org/abs/1810.04805.

Slides used in video: https://chalmersuniversity.box.com/s/....

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...

BERT: transfer learning for NLP

Доступные форматы для скачивания:

Скачать видео

Информация по загрузке:

Скачать аудио

Похожие видео

Transformers - Part 1 - Self-attention: an introduction

Transformers - Part 1 - Self-attention: an introduction

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Fine-Tuning BERT for Text Classification (w/ Example Code)

Fine-Tuning BERT for Text Classification (w/ Example Code)

Что такое встраивание слов?

Что такое встраивание слов?

Практическое занятие по BERT

Практическое занятие по BERT

Transfer learning and Transformer models (ML Tech Talks)

Transfer learning and Transformer models (ML Tech Talks)

Многоязычный BERT — Часть 1 — Введение и концепции

Многоязычный BERT — Часть 1 — Введение и концепции

Объяснение BERT: обучение, вывод, BERT против GPT/LLamA, тонкая настройка, токен [CLS]

Объяснение BERT: обучение, вывод, BERT против GPT/LLamA, тонкая настройка, токен [CLS]

BERT для предварительной подготовки Трансформеров

BERT для предварительной подготовки Трансформеров

Лекция. Transfer Learning в NLP.

Лекция. Transfer Learning в NLP.

Transformer - Part 6 - Decoder (1): testing and training

Transformer - Part 6 - Decoder (1): testing and training

Что такое BERT и как он работает? | Краткий обзор

Что такое BERT и как он работает? | Краткий обзор

Трансформаторы предложений — ОБЪЯСНЕНИЕ!

Трансформаторы предложений — ОБЪЯСНЕНИЕ!

Почему «Трансформеры» заменяют CNN?

Почему «Трансформеры» заменяют CNN?

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Но что такое нейронная сеть? | Глава 1. Глубокое обучение

Разъяснение статьи BERT

Разъяснение статьи BERT

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

LLM и GPT - как работают большие языковые модели? Визуальное введение в трансформеры

Краткое объяснение больших языковых моделей

Краткое объяснение больших языковых моделей

Deep Generative Models, Stable Diffusion, and the Revolution in Visual Synthesis

Deep Generative Models, Stable Diffusion, and the Revolution in Visual Synthesis

Transformers - Part 5 - Transformers vs CNNs and RNNS

Transformers - Part 5 - Transformers vs CNNs and RNNS