Ускорение инференса с помощью смешанной точности | Оптимизация моделей ИИ с помощью Intel® Neural...

Описание: Изучите самый простой метод оптимизации модели для ускорения вывода ИИ. Смешанная точность, часто используемая для ускорения обучения, также может использоваться для ускорения вывода без ущерба для точности.

Смешанная точность — популярный метод ускорения обучения больших моделей ИИ. Это также может быть простым способом уменьшения размера модели и задержки вывода. Этот подход смешивает форматы чисел с плавающей запятой с более низкой точностью, такие как FP16 и Bfloat16, с исходными 32-битными параметрами чисел с плавающей запятой. Выбор способа смешивания форматов требует оценки влияния на точность, знания того, что поддерживается данным устройством и какие слои используются.

Intel® Neural Compressor автоматически смешивает форматы с более низкой точностью, поддерживаемые оборудованием и слоями модели. В этом видео показано, как начать работу, независимо от того, используете ли вы PyTorch*, TensorFlow* или ONNX* Runtime. В нем также показано, как автоматически оценить влияние более низкой точности на точность.

Intel® Neural Compressor: bit.ly/3Nl6pVj

Intel® Neural Compressor GitHub: bit.ly/3NlBgkH

О программном обеспечении Intel:
Intel® Developer Zone стремится расширять возможности и оказывать помощь разработчикам программного обеспечения в создании приложений для аппаратных и программных продуктов Intel. Канал Intel Software на YouTube — отличный ресурс для тех, кто хочет расширить свои знания. Наш канал предоставляет последние новости, полезные советы и увлекательные демонстрации продуктов от Intel и наших многочисленных отраслевых партнеров. Наши видеоролики охватывают различные темы; вы можете узнать о них больше, перейдя по ссылкам.

Свяжитесь с Intel Software:
Сайт Intel Software: https://intel.ly/2KeP1hD
Intel Software на Facebook: http://bit.ly/2z8MPFF
Intel Software на Twitter: http://bit.ly/2zahGSn
Intel Software на GitHub: http://bit.ly/2zaih6z
Intel Developer Zone LinkedIn: http://bit.ly/2z979qs
Intel Developer Zone Instagram: http://bit.ly/2z9Xsby
Intel Game Dev Twitch: http://bit.ly/2BkNshu

#intelsoftware #ai

Ускорение вывода с помощью смешанной точности | Оптимизация модели ИИ с помощью Intel® Neural Compressor