🔥 Qwen3.8 — 384+ ток/с НА ХЛАМЕ?! 😱 | 4× Tesla V100 — 128GB VRAM | ПОЛНЫЙ ГАЙД

Описание: 🚀 Qwen3.8-27B — 384+ токена/сек! 4× Tesla V100 и 128GB VRAM! И всё это — у меня дома!

Как выжать максимум из старого железа и получить такую скорость генерации локально, без облаков и платных подписок?

В этом видео я покажу, как установить и настроить Qwen3.8-27B-NVFP4 + DFlash2 и раскрыть потенциал четырёх Tesla V100!

🔥 Все команды собраны в подробной текстовой инструкции, чтобы вы могли повторить всё у себя.

Но прежде чем система заработала на полную мощность, мне предстояло разгадать одну странную загадку. А решение оказалось настолько неожиданным, что я сам не сразу поверил! 😳

💬 Друзья, если видео было полезным, поддержите меня лайком и подпиской! Буду рад видеть вас в следующих выпусках. Спасибо, что вы со мной! 🤝

👇 Инструкция Qwen3.8-27B-NVFP4 + DFlash2:
https://t.me/l2oot_AI/28

👇 Инструкция Qwen3.6-27B-AWQ:
https://t.me/l2oot_AI/19

📢 Мой канал в Telegram:
https://t.me/l2oot_AI

🔗 Ссылки:

Документация к плате V100-SXM2-NVLINK_D V2.10:
https://t.me/l2oot_AI/14
https://t.me/l2oot_AI/15

Проект 1Cat-vLLM на GitHub:
https://github.com/1CatAI/1Cat-vLLM

Скачать Ubuntu Server 24.04 LTS:
https://releases.ubuntu.com/24.04/
https://releases.ubuntu.com/24.04/ubu...

Инструкция по установке Ubuntu Server:
https://ubuntu.com/server/docs/tutori...

Продавец железа Шаосюй на WB:
https://www.wildberries.ru/seller/442...

Tesla V100 SXM2 32GB:
https://www.wildberries.ru/catalog/45...

PCB плата с NVLink на 4 карты SXM2 + Tesla V100 SXM2 32GB (1 шт.):
https://www.wildberries.ru/catalog/10...

ИБП HIDEN EXPERT UDC9203S:
https://www.dns-shop.ru/product/8110c...

Комплект вентиляторов ARCTIC P12 Pro LN [ACFAN00349A] чёрные:
https://www.dns-shop.ru/product/9e2e9...

PWM-контроллер для помпы + кабель питания:
https://ozon.ru/t/oNC96VA
https://ozon.ru/t/UuYmcGP

00:00 Два полных оборота
00:36 В этом выпуске
01:08 Почему сервер
01:51 Как подключаюсь
02:33 Первичная настройка
02:54 Детектив: NVLink
05:00 Qwen3.6-27B — точка отсчёта
06:01 Влияние платформы
06:23 Влияние количества карт
06:53 Qwen3.8-27B-NVFP4 + DFlash2
07:34 Установка Miniconda
07:54 Установка CUDA
08:05 Установка Ninja
08:16 Проверка зависимостей
08:39 Создание окружения для 1Cat-vLLM
08:58 Установка 1Cat-vLLM v1.5.1
09:27 Скачивание Qwen3.8-27B-QUASAR-NVFP4
09:54 Скачивание Qwen3.8-27B-DFlash2
10:16 Первый запуск
10:57 Запуск Open WebUI
11:33 Подключение к vLLM
11:57 Холодный старт
12:10 Генерация игры
13:13 Генерация анимации
14:26 Обе цифры правильные
15:04 Счётчики ошибок NVLink
15:17 Небольшой апгрейд
15:54 Итоги
16:48 Текстовая инструкция

🎬 Обязательно к просмотру:

▶️ Заказал 4× Tesla V100 32GB SXM2 на Wildberries | 😱 Вот что приехало из Китая
   • 🔥 Заказал 4× Tesla V100 32GB SXM2 на Wildb...  

▶️ 🔥 Tesla V100 32GB SXM2 в обычном ПК на Windows 10 | Настройка, тесты, скорость LLM, игры
   • 🔥 Tesla V100 32GB SXM2 в обычном ПК на Win...  

▶️ 😱 Я поставил 2× Tesla V100 SXM2 32GB — и ПК НЕ ЗАПУСТИЛСЯ! | Что пошло не так?
   • 😱 Я поставил 2× Tesla V100 SXM2 32GB — и П...  

▶️ ⚡ Tesla V100 — 27B НА ОДНОЙ КАРТЕ?! | Qwen3.6-27B-AWQ — ПОЛНЫЙ ГАЙД
   • ⚡ Tesla V100 — 27B НА ОДНОЙ КАРТЕ?! | Qwen...  

▶️ 128GB VRAM — 4× V100 НА ВОДЕ 💧 | ВОДОБЛОКИ С СЮРПРИЗОМ 🤔
   • 128GB VRAM — 4× V100 НА ВОДЕ 💧 | ВОДОБЛОКИ...  

#TeslaV100 #Qwen3.8 #LLM #AI #SXM2 #V100