API PyTorch для высокопроизводительного обучения и вывода MoE — Д. Вега-Мюре, Ке Вэнь и Н. Гимель...

Описание: API PyTorch для высокопроизводительного обучения и вывода MoE — Дэниел Вега-Мире; Ке Вен и Наталья Гимельшейн, Meta

С ростом популярности таких моделей, как DeepSeekV3 и Llama4, растет спрос на собственные API PyTorch и специализированные оптимизации производительности для архитектур MoE.

Это будет совместный доклад команд PyTorch Core, Distributed и Performance, в котором основное внимание будет уделено функциям, разработанным нами для лучшей поддержки и ускорения обучения и вывода MoE:

Доклад будет разделен на 3 основные категории:
1. Вычисления (группированные GEMM в PyTorch Core)
2. Коммуникации (API диспетчеризации/комбинирования all-to-all-v в PyTorch Distributed)
3. Оптимизация обучения и вывода с низкой точностью (API Torchao для обучения MoE float8, ядра связи с низкой точностью, дифференцируемые масштабируемые групповые GEMM с динамическим квантованием)