Accelerating LLM Inference with vLLM (and SGLang) - Ion Stoica

Вывод LLM с длинным контекстом нового поколения с использованием LMCache - Цзюньчэнь Цзян (Универ...

LLM inference optimization: Architecture, KV cache and Flash attention

Intelligent RAG for Salesforce and AI Agents

Accelerating LLM Inference with vLLM

Управление поведением LLM без тонкой настройки

Efficient LLM Inference (vLLM KV Cache, Flash Decoding & Lookahead Decoding)

Exploring the Latency/Throughput & Cost Space for LLM Inference // Timothée Lacroix // CTO Mistral

The Evolution of Multi-GPU Inference in vLLM | Ray Summit 2024

Как внимание стало настолько эффективным [GQA/MLA/DSA]

🔍 AI Serving Frameworks Explained: vLLM vs TensorRT-LLM vs Ray Serve | Which One Should You Use?

Лекция по оптимизации ИИ 01 — Предварительное заполнение против декодирования — Освоение методов ...

Swiss tables в Go. Наиболее полный разбор внутреннего устройства новой мапы

vLLM on Kubernetes in Production

Глубокое погружение: оптимизация вывода LLM

OpenClaw Creator: Почему 80% приложений исчезнут

Jonathan Blow on Why AI Can't Program

Understanding the LLM Inference Workload - Mark Moyou, NVIDIA

Deep Dive into Inference Optimization for LLMs with Philip Kiely

Дорожная карта по изучению ИИ (начало)

Как LLM выживают в условиях низкой точности | Основы квантования