Запустил модель 177B на SSD (Это быстро!) | Тест Qwen 3.8 Flash Next

Описание: Можно ли запустить огромную модель размером 177 байт на SSD? В этом видео я использую Qwen 3.8 Flash Next IQ4XS с диском объемом 85 ГБ на своей системе для обработки искусственного интеллекта (4060 8 ГБ + RTX 5060 Ti 16 ГБ + 32 ГБ ОЗУ). Мы посмотрим, сможет ли перенос встроенной таблицы n-грамм на NVMe SSD обеспечить приемлемую скорость работы.

Подписывайтесь на меня в X: https://x.com/redStapler_twit

** Моя портативная ПК-система для ИИ **
Процессор: https://amzn.to/3Lx52Vv
Видеокарта: https://amzn.to/3YWMPDS
Оперативная память: https://amzn.to/49l7vdD
Материнская плата: https://amzn.to/4poMEfp
Блок питания: https://amzn.to/4po6xU0

⏱️ ВРЕМЕННЫЕ МЕТКИ
00:00 - Вступление
00:28 - Архитектура Qwen 3.8 Flash-Next
01:06 - N-граммы и разгрузка SSD
01:38 - Флаги Llama.cpp
02:10 - Производительность
02:44 - Результат и заключительные мысли

#localai #qwen #ai