[follow-up] Laguna S2.1 August update on Single DGX spark
Автор: EliteTestEngineering
Загружено: 2026-08-06
Просмотров: 145
Описание:
https://elitetestengineering.substack...
vllm serve poolside/Laguna-S-2.1-NVFP4 \
--served-model-name laguna-s-2.1 \
--speculative-config '{"model": "poolside/Laguna-S-2.1-DFlash-NVFP4", "num_speculative_tokens": 2}' \
--enable-auto-tool-choice \
--tool-call-parser poolside_v1 \
--reasoning-parser poolside_v1 \
--default-chat-template-kwargs '{"thinking": true, "enable_thinking": true}' \
--override-generation-config '{"temperature": 0.7, "top_p": 0.95}' \
--trust-remote-code \
--max-num-seqs 8 \
--max-model-len 131072 \
--gpu-memory-utilization 0.90 \
--host 0.0.0.0 \
--port 8000
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: