Выходя за рамки планировщика по умолчанию: управление многопользовательским режимом GPU в эпоху и...

Описание: Многопользовательская архитектура с использованием графических процессоров в Kubernetes сталкивается со значительными проблемами безопасности при развертывании рабочих нагрузок ИИ на общей инфраструктуре. Разделение по времени позволяет совместно использовать графические процессоры, но не обеспечивает аппаратной изоляции, что создает риск утечки конфиденциальных данных. NVIDIA Multi-Instance GPU (MIG) обеспечивает истинную аппаратную изоляцию с выделенными вычислительными ядрами, сегментами памяти и разделами кэша L2, гарантируя стабильную производительность и строгие гарантии качества обслуживания (QoS).

Поскольку стандартный планировщик Kubernetes не может разделять ресурсы графических процессоров, как центральные процессоры, для рабочих нагрузок можно использовать продвинутые планировщики — KAI, Volcano и Kueue. Они улучшают совместное использование графических процессоров за счет иерархических очередей для безопасных многопользовательских сред. В этом докладе демонстрируется, как сочетание изоляции в многопользовательских конфигурациях с интеллектуальным планированием приводит к оптимальному использованию, справедливому распределению ресурсов и надежным границам безопасности, направляя переход от стандартных решений планирования к решениям, учитывающим возможности графических процессоров, для масштабируемой инфраструктуры ИИ.

Спикеры: Шивай Ламба, Хриттик Рой и Сайям Патхак.