RoPE Rotary Position Embedding to 100K context length

Как внимание стало настолько эффективным [GQA/MLA/DSA]

Что такое встраивание слов?

Query, Key and Value Matrix for Attention Mechanisms in Large Language Models

RoPE (Rotary positional embeddings) explained: The positional workhorse of modern LLMs

Positional encodings in transformers (NLP817 11.5)

Поворотные позиционные вложения: сочетание абсолютного и относительного

ACE: Agentic Context Engineering for Scalable, Self-Improving LLM Systems.

Hierarchical Reasoning HRM 2.0: NEW Attractor Dynamics in AI

Long-Context LLM Extension

Rotary Positional Encodings | Explained Visually

Rotary Position Embedding explained deeply (w/ code)

DL4.1: Convolutional Neural Networks (CNNs) | From Flawed MLPs to Modern Computer Vision

Как внедрение вращательного положения даёт толчок развитию современных LLM [RoPE]

Визуализация внимания, сердце трансформера | Глава 6, Глубокое обучение

Rotary Positional Embeddings Explained | Transformer

Intro to Attention and Its Forms

Самая сложная модель из тех, что мы реально понимаем

ALiBi — обучение по короткому маршруту, тестирование по длинному маршруту: внимание с линейными с...

Как модели-трансформеры отслеживают порядок слов? Позиционное кодирование

Математика, лежащая в основе Attention: матрицы ключей, запросов и значений