Qwen3-8B со скоростью 74 ток/с с использованием RedHat DFlash Speculator на vLLM локально.

Описание: В этом видео локально устанавливается и тестируется файл Qwen3-8B-speculator.dflash от Redhat AI.

🔥 Получите 50% скидку на аренду любой видеокарты A6000 или A5000, используйте следующую ссылку и купон:

https://bit.ly/fahd-mirza
Код купона: FahdMirza

🔥 Поддержите канал, купив мне кофе: https://ko-fi.com/fahdmirza

#zlab #dflash #SpeculativeDecoding #qwendflash

ПОДПИСЫВАЙТЕСЬ НА МЕНЯ:
▶ LinkedIn:   / fahdmirza  
▶ YouTube:    / @fahdmirza  
▶ Блог: https://www.fahdmirza.com

РЕСУРСЫ:

▶ https://huggingface.co/RedHatAI/Qwen3...

Все права защищены © Fahd Mirza