NSDI '25 — GREEN: углеродоэффективное планирование ресурсов для кластеров машинного обучения

Описание: GREEN: Углеродэффективное планирование ресурсов для кластеров машинного обучения

Кайцян Сюй и Декан Сан, лаборатория iSING, Гонконгский университет науки и технологий; Хан Тянь, Университет науки и технологий Гонконга; Цзюньсюэ Чжан и Кай Чэнь, лаборатория iSING, Гонконгский университет науки и технологий

В данной статье рассматривается проблема планирования задач машинного обучения (МО) с учетом сокращения выбросов углерода в кластере. Традиционные кластерные планировщики для задач МО в основном фокусируются на оптимизации времени выполнения задач (СВЗ), но не учитывают воздействие принимаемых решений на окружающую среду, что приводит к неоптимальному углеродному следу. Для решения этой проблемы мы предлагаем GREEN — кластерный планировщик МО, который является как эффективным по времени, так и эффективным по выбросам углерода. В своей основе GREEN использует уникальный алгоритм планирования с учетом выбросов углерода, который снижает углеродный след при минимальном воздействии на СВЗ.

Кроме того, он использует временную гибкость заданий МО для сокращения выбросов углерода за счет переноса рабочих нагрузок на менее углеродоемкие периоды, сохраняя при этом общую суточную производительность. Наши эксперименты с использованием реальных заданий МО показывают, что GREEN позволяет добиться сокращения углеродного следа кластера до 41,2% и пикового энергопотребления на 12%, при этом обеспечивая экономию времени на 3,6–5,9% по сравнению с существующими методами.

Полную программу NSDI '25 можно найти по адресу https://www.usenix.org/conference/nsd...