Что такое NVFP4? Ускоренный вывод LLM без потери качества

Описание: Узнайте, что такое NVFP4, почему он помогает запускать более крупные LLM-модели с меньшим объемом памяти GPU без существенного снижения качества, и как создать контрольную точку Nemotron 3 Ultra с квантованием NVFP4 с помощью NVIDIA Model Optimizer. Более подробную информацию можно найти в этих статьях о квантовании Nemotron 3 Ultra NVFP4 и формате NVFP4.

🔗 https://developer.nvidia.com/blog/cre...

🔗 https://developer.nvidia.com/blog/cre...

🔗 https://developer.nvidia.com/blog/int...