OSDI '25 — ZEN: Расширение возможностей распределенного обучения с помощью синхронизации данных, ...

Описание: ZEN: Расширение возможностей распределенного обучения с помощью синхронизации данных, основанной на разреженности

Чжуан Ван, Университет Райса; Чжаочжо Сюй, Технологический институт Стивенса; Цзинъи Си (независимый); Юк Ван, Аншумали Шривастава и Т. С. Юджин Нг, Университет Райса

Распределенное обучение является фактическим стандартом для масштабирования моделей глубокого обучения с использованием нескольких графических процессоров. Узким местом его производительности является проблема обмена данными для синхронизации градиентов. Несмотря на то, что высокая разреженность тензоров широко распространена, оптимальная схема обмена данными для полного использования разреженности до сих пор отсутствует. Цель данной статьи — восполнить этот пробел. Сначала мы анализируем характеристики разреженных тензоров в популярных моделях, чтобы понять основы разреженности. Затем мы систематически исследуем пространство проектирования схем обмена данными для разреженных тензоров и находим оптимальные. Эти результаты открывают новые горизонты и вдохновляют нас на разработку комплексной системы градиентной синхронизации для разреженных тензоров под названием ZEN. Мы демонстрируем, что ZEN позволяет добиться ускорения передачи данных до 5,09 раз и ускорения скорости обучения до 2,48 раз по сравнению с современными методами.

С полной программой OSDI '25 можно ознакомиться по адресу https://www.usenix.org/conference/osd...