Не покупайте RTX 5090. Разработчики собирают ИИ-системы из мусора

Описание: Цены на RTX 5090 достигли 9500 долларов, поэтому разработчики собирают локальные системы для ИИ из вышедших из строя видеокарт дата-центров и старых майнинговых карт. Одна из сборок на Reddit получила 128 ГБ видеопамяти, в четыре раза больше, чем у 5090, за 3000 долларов.

Я разбираю, почему старые серверные карты подходят для локального запуска LLM (видеопамять, пропускная способность памяти и сочетание экспертных моделей), полную сборку на Radeon Pro V620 за 3000 долларов, разблокировку видеопамяти Nvidia CMP 170HX за 768 ГБ памяти, а также компоненты, которые никто не публикует: пассивное охлаждение карт, проблемы с драйверами, счета за электроэнергию и шум. Кто же должен собрать такую ​​систему, а кто должен купить подержанную RTX 3090?

📬 Получайте самые актуальные новости на свою почту каждый вторник: https://devsplainers.com/takeouts/

⏱️ Разделы
00:00 Цены на GPU против сборок из электронных отходов
00:31 Почему старые серверные карты подходят для ИИ
01:43 Сборка за 3000 долларов с 128 ГБ видеопамяти
02:22 Охлаждение пассивной карты для дата-центра
03:08 Драйверы, форки и Linux
03:43 Агент ИИ собирает систему для ИИ
04:09 CMP 170HX: карта, которая загрузила больше оперативной памяти
05:19 Сборка с 768 ГБ видеопамяти
05:48 Почему сделка уже сорвалась
06:20 Энергия, тепловыделение и скрытый счет
06:59 В чем проигрыш старых карт (Mac Studio, Strix Halo, API)
07:31 Следует Вы сами его соберете?

📺 Похожие видео
Не покупайте Mac Studio M5 Ultra для локального ИИ (Сделайте это):    • Don't Buy a Mac Studio M5 Ultra For Local ...  
Китай идет за вашим устройством для локального ИИ:    • China Is Coming for Your Local AI Box  
Объяснение квантования LLM: ловушка качества Q4:    • LLM Quantization Explained: The Q4 Quality...  
Мы только что достигли критической точки локального LLM (Colibri):    • We Just Hit the Local LLM Tipping Point (C...  

Какая лучшая недорогая видеокарта для локального ИИ?
Для локального LLM первое ограничение — это видеопамять: 70-битной модели в 4-битном режиме требуется около 40 ГБ, а у RTX 5090 — 32 ГБ. Второе ограничение — пропускная способность памяти, потому что каждый токен снова считывает модель. Снятые с производства видеокарты для центров обработки данных, такие как AMD Radeon Pro V620, Instinct MI50, Tesla P40 и V100, предлагают большой объем видеопамяти за доллар с приличной пропускной способностью, но слабой вычислительной мощностью. Такой компромисс подходит для одного пользователя, работающего с одной большой моделью, особенно для смешанной модели экспертов. Он плохо подходит для длительных запросов, генерации изображений и видео, а также требует собственного охлаждения, Linux и программных форков от сообщества.

В этом видео:
• Сколько видеопамяти требуется локальному LLM и почему пропускная способность определяет скорость
• Почему сочетание экспертных моделей подходит для старых серверных видеокарт
• Сборка с 4 видеокартами Radeon Pro V620 и 128 ГБ видеопамяти за 3000 долларов
• Пассивное охлаждение карт дата-центра в настольном корпусе
• Форки vLLM, драйверы ROCm и почему их никогда не обновляют
• Разблокировка Nvidia CMP 170HX с 64 ГБ видеопамяти и резкий скачок цены
• Стоимость электроэнергии для 700-ваттного сервера ИИ
• Б/у RTX 3090 против Mac Studio против Strix Halo против API

📚 Источники
RTX 5090 исчезла из розничной сети США, цены до 9500 долларов (Tom's Hardware): https://www.tomshardware.com/pc-compo...
Серверная сборка за 3000 долларов с 128 ГБ видеопамяти:   / 3k_128gb_vram_256gb_ram_ddr4_server  
Характеристики AMD Radeon Pro V620: https://www.amd.com/en/products/accel...
Разблокировка видеопамяти CMP 170HX (Tom's Hardware): https://www.tomshardware.com/pc-compo...
768 ГБ видеопамяти дешевле, чем одна RTX 6000:   / 768gb_vram_for_less_than_the_price_of_one_...  
Отчет о сбое CMP 170HX:   / 25_of_my_cmp_170hx_have_died_after_2_weeks...  
Сборка MI50 на 160 ГБ:   / 1v2fm3s  
Математика в памяти Transformer (EleutherAI): https://blog.eleuther.ai/transformer-...
Тест домашнего ИИ-сервера на MI50 с 32 ГБ памяти (Country Boy Computers):    • Is Radeon Instinct Mi50 32gb the ULTIMATE ...  

#LocalLLM #LocalAI #RTX5090 #HomeLab #GPU