ycliper

Популярное

Музыка Кино и Анимация Автомобили Животные Спорт Путешествия Игры Юмор

Интересные видео

2025 Сериалы Трейлеры Новости Как сделать Видеоуроки Diy своими руками

Топ запросов

смотреть а4 schoolboy runaway турецкий сериал смотреть мультфильмы эдисон
Скачать

One Letter at a Time: The Granular Math of Bigram Language Models

Автор: Ramit Agarwal

Загружено: 2026-06-27

Просмотров: 105

Описание: Have you ever wondered how AI actually learns to write? Before diving into massive Large Language Models with billions of parameters, it helps to understand the most basic question of AI: given what we have seen so far, what should come next?
In this video, we are getting granular. We will build a character-level bigram language model completely from scratch using a dataset of over 32,000 names.

By focusing on two-character sequences (bigrams), we will uncover the exact math and code needed to teach a model how to predict the next letter.

In this tutorial, we cover:
The 27x27 Matrix: How to extract bigrams and store character counts in a matrix.

Probability & Smoothing: Converting raw counts into probability distributions using "add-one smoothing".

Coding the Neural Network: Replicating our count-based model using PyTorch, one-hot encoding, and a single-layer neural network.

Gradient Descent & NLL: Training the network by minimizing the Negative Log-Likelihood (NLL).

Generating Names: Watching our AI generate brand new names by
sampling from the probability distributions it learned.

Whether you prefer the simple math of counting or the structure of a PyTorch neural network, this video will show you that both methods are essentially learning the exact same 27x27 table of probabilities!

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...
One Letter at a Time: The Granular Math of Bigram Language Models

Поделиться в:

Доступные форматы для скачивания:

Скачать видео

  • Информация по загрузке:

Скачать аудио

Похожие видео

© 2025 ycliper. Все права защищены.



  • Контакты
  • О нас
  • Политика конфиденциальности



Контакты для правообладателей: [email protected]