Можно ли запустить локальный ИИ на слоте PCIe x1? (Подсказка: это возможно!)

Описание: Для запуска локальных моделей ИИ требуется огромный объем видеопамяти, но что делать, если на вашей материнской плате нет слотов PCIe x16? Прежде чем жертвовать слотом для накопителя ради адаптера M.2 или покупать совершенно новую материнскую плату, нам нужно ответить на один вопрос: можно ли использовать слот PCIe x1 для локального вывода моделей ИИ?

В этом видео я провожу тесты производительности на бюджетной многопроцессорной конфигурации, чтобы проверить, повлияет ли использование более медленного слота PCIe x1 на производительность ИИ. С помощью llama-bench мы тестируем скорость обработки запросов (время до первого токена) и скорость генерации токенов в одно- и многопроцессорных конфигурациях, сравнивая полную разгрузку GPU с частичной разгрузкой CPU.

Если вы любитель, пытающийся собрать бюджетную локальную систему ИИ со старыми видеокартами, результаты могут вас удивить!

Подписывайтесь на меня в X: https://x.com/redStapler_twit

** Моя портативная сборка ПК для ИИ **
Процессор: https://amzn.to/3Lx52Vv
Видеокарта: https://amzn.to/3YWMPDS
Оперативная память: https://amzn.to/49l7vdD
Материнская плата: https://amzn.to/4poMEfp
Блок питания: https://amzn.to/4po6xU0

⏱️ Таймкоды:
0:00 - Проблема с видеопамятью и решение с PCIe x1
0:47 - Тестовая конфигурация и обзор оборудования
1:03 - Тест с одной видеокартой: RTX 4060 (x16 против x1)
2:05 - Тест с одной видеокартой: частичное разгрузка ЦП
2:50 - Тест с несколькими видеокартами: RTX 4060 + RTX 2060
3:42 - Перестановка слотов видеокарт и частичное разгрузка ЦП Результаты разгрузки
4:27 - Заключение: Имеет ли значение пропускная способность PCIe для ИИ?

#localai #localllm #gpu #ai #benchmark