Действительно ли Bonsai 2 27B — это 98% от Qwen 3.8 27B fp16? Тестируем локальный ИИ

Описание: Мы оцениваем скорость вывода (~68–70 токенов/сек) Ternary Bonsai 2 27B и проверяем его возможности агентного кодирования с помощью Hermes Agent для генерации полного набора аркадных игр, сравнивая результаты напрямую с полной версией fp16 Qwen 3.8 27B.


🔧 Руководства и ссылки:
• Трекер цен и характеристик GPU: https://digitalspaceport.com/local-ai...
• Тестирование сгенерированных аркадных игр: https://arcade.digitalspaceport.com
• Руководство по локальному ИИ в Proxmox LXC: https://digitalspaceport.com/how-to-s...

Сборка на базе Threadripper WRX80
Материнская плата - WRX80
Asrock Creator https://geni.us/ASRock_wrx80_creator
Gigabyte MC62-G40 https://geni.us/MC62-G40_MOBO

Процессор - AMD Threadripper PRO
3945WX https://geni.us/AMD-TR-3945WX

Видеокарты
3090 24 ГБ https://geni.us/GPU3090
3060 12 ГБ https://geni.us/3060_GPU_12 ГБ
4090 24 ГБ https://geni.us/4090_24GB_GPU

Оперативная память
256 ГБ DDR4 DIMM https://geni.us/256GB_DDR4_RAM

Райзер-кабели
Райзеры PCIe шириной x16 https://geni.us/PCIe4_Riser_Cable

Корпус для установки в стойку https://geni.us/GPU_Rack_Frame

Блок питания
Блок питания 1500 Вт https://geni.us/Corsair_HX1500iPSU
Блок питания 1000 Вт https://geni.us/1000W_PSU

Жидкостное охлаждение процессора H170i CAPELLIX https://geni.us/iCUE_H170i_Capellix

Видео о единственных локальных видеокартах для ИИ, которые стоит купить прямо сейчас    • The Only Local AI GPUs Worth Buying Right ...  
Плейлист с проектами локальных серверов для ИИ    • Local Ai Server Builds  

Способы поддержки:
🚀 Станьте участником, чтобы получать доступ к контенту только для участников и дополнительным преимуществам    / digitalspaceport  
☕ Купите мне кофе https://www.buymeacoffee.com/digitals...
🔳 Patreon   / digitalspaceport  
👍 Подпишитесь youtube.com/c/digitalspaceport?sub_co...
🌐 Посетите веб-сайт https://digitalspaceport.com

ВРЕМЕННЫЕ МЕТКИ:
00:00 - Введение: Обзор и характеристики Ternary Bonsai 2 27B
00:48 - Настройка и установка в контейнере Proxmox LXC
01:58 - Проверка рыночной цены GPU (RTX 3090 / 3060)
02:47 - Конфигурация llama-server и переменные среды
03:55 - Использование видеопамяти и памяти на RTX 3090
04:24 - Тест скорости и генерации: Анимированный SVG-кот (~69 токенов/с)
07:44 - Настройка и подсказка кода Hermes Agentic
09:10 - Тестирование сгенерированных аркадных игр
12:33 - Сравнение качества с Qwen 3.8 27B FP16
13:51 - Окончательный вердикт: компромисс между скоростью и качеством

*****
Как партнер Amazon, я получаю комиссионные от соответствующих покупок.
Когда вы переходите по ссылкам на различных продавцов на этом сайте и совершаете покупку, это может привести к тому, что этот сайт получит комиссию. Партнерские программы и аффилиации включают, помимо прочего, партнерскую сеть eBay.

*****