Топ вопросов NLP собеседований | трансформер, механизм внимания, берт | Часть 1

Описание: Секрет успешного трудоустройства - в дотошной подготовке к собеседованиям!
Знание механизма внимания и трансформеров - база любых собеседований на все грейды в NLP!

Содержание:
Архитектура трансформера
Механизм внимания
Позиционные эмбеддинги
Токенизация
Трансформерные архитектуры (BERT, GPT и тд)

Таймкоды:
00:00 Что вас ждет?
00:16 Приветствие
00:51 Что такое трансформер?
01:12 В чем отличие трансформера от других архитектур? Сравни с RNN и CNN
03:17 Как выглядит архитектура трансформера? Из каких частей состоит?
05:41 Как работает механизм внимания (attention)?
08:04 Какие виды attention бывают?
11:33 Где взять полезные материалы для более детального изучения информации?
11:52 Зачем нужны позиционные эмбеддинги?
12:31 Как работает позиционное кодирование?
13:02 Какие виды позиционного кодирования есть?
14:40 Какие виды токенизаторов есть?
15:15 Почему именно Byte-Level, почему нельзя по чарам разбивать?
16:08 Какие основные гиперпараметры токенизаторов есть?
17:49 Как можно расширить словарь?
18:35 Самый эффективный способ устроиться в NLP
19:11 Какие трансформерные архитектуры есть?
20:38 Что такое BERT?
23:01 Какие еще задачи может решать с помощью encoder моделей?
24:31 Что такое bi-encoder и cross-encoder? Когда какой вид использовать?
26:25 Как векторизовать тексты с помощью берта?
29:01 Какие еще разновидности берта знаешь?

Конспект с разобранными вопросами: https://t.me/rockaux
Разборы реальных собеседований и много полезного контента: https://boosty.to/lokis_alexandr
Менторство "оффер под ключ", роадмап и консультация: https://sites.google.com/view/lokisml...
личный тг: https://t.me/abletobetable