Локальные LLM для кодинга на слабом ПК: что реально работает

Описание: В этом видео я разбираю, на что реально способны локальные LLM на слабом ПК и есть ли в них практический смысл для разработки.

Без подписок, без облаков и без “идеальных условий”. Только обычное железо, ограниченная память и реальные задачи.

Таймкоды:
00:00 Вступление: зачем вообще локальные LLM
00:29 Что будет в видео и критерии отбора
01:37 Подбор модели по размеру
02:38 Квантизация: стоит ли брать сжатые модели
03:23 Какие модели я буду тестировать
03:38 Контекст и потребление памяти
04:41 Какой контекст реально нужен для разработки
05:14 Почему лучше разбивать задачи
05:39 Условия теста и сама задача
06:32 Qwen 3.5 9B
08:31 Qwen 3.5 2B
09:31 Qwen 3.5 4B
10:47 Qwen 2.5-Coder 7B
11:13 DeepSeek Coder 6.7B Pro
12:06 Gemma 4 (e4b, e2b)
12:51 Gemma 4 e4b
13:38 Gemma 4 e2b
13:49 Chat-GPT 5.3 free
14:14 Выводы

Я протестировал несколько компактных моделей (2.5–6.5 ГБ), чтобы понять:
— какие из них вообще можно использовать для кодинга
— как размер модели, квантизация и контекст влияют на результат
— где проходит граница между “работает” и “ломается”

В тестах:
— генерация кода с ограничениями (типизация, структура, UI)
— проверка архитектурного мышления
— работа с длинной задачей без декомпозиции
— сравнение разных размеров моделей

Также разберём:
— сколько памяти на самом деле нужно (и почему модель “тормозит”)
— как правильно выбирать размер модели под свой ПК
— какой контекст имеет смысл использовать на практике
— почему новые маленькие модели могут быть лучше старых больших

В конце — выводы и рекомендации:
какие модели имеет смысл использовать, а какие — нет.

Если ты хочешь запускать LLM локально и не упираться в ограничения — это видео сэкономит тебе время и нервы.

Видео про Gemma 4
   • Gemma 4 — лучший open-source AI от Google?  

Видео про метод сжатия контекста TurboQuant
   • 6х ускорение LLM без потери качества — как...  

Как бесплатно запустить локальный ИИ-ассистент для разработки на ПК
   • Как бесплатно запустить локальный ИИ-ассис...  

Поддержать канал:
USDT (TRC20 / TRON): TVvAfehhHNqGMWugjFXtxwkANzfPo7q9ue
Boosty: https://boosty.to/nomagiccoding/donate