Coding LLaMA 2 from scratch in PyTorch - KV Cache, Grouped Query Attention, Rotary PE, RMSNorm

LLaMA explained: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU

Coding a Transformer from scratch on PyTorch, with full explanation, training and inference.

LoRA: Low-Rank Adaptation of Large Language Models - Explained visually + PyTorch code from scratch

Mistral / Mixtral Explained: Sliding Window Attention, Sparse Mixture of Experts, Rolling Buffer

Query Key Value | ONLY 7 VIDEOS YOU NEED TO UNDERSTAND Attention is all you need | Part 3

Объяснение BERT: обучение, вывод, BERT против GPT/LLamA, тонкая настройка, токен [CLS]

Поворотные позиционные вложения: сочетание абсолютного и относительного

Внимание — это всё, что вам нужно (Transformer) — объяснение модели (включая математику), вывод и...

Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral

Llama 4 Explained: Architecture, Long Context, and Native Multimodality

Как строили пирамиды. Сердце пирамид

Quantization explained with PyTorch - Post-Training Quantization, Quantization-Aware Training

Distributed Training with PyTorch: complete tutorial with cloud infrastructure and code

How DeepSeek Rewrote the Transformer [MLA]

Цзян Сюэцин: Война с Ираном — перелом, навсегда изменивший Ближний Восток

Получение степени магистра права: создание, обучение, доработка

Решаю задачи с собеседований Python Backend стажёр

Learn RAG From Scratch – Python AI Tutorial from a LangChain Engineer

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Let's build the GPT Tokenizer