Инфраструктура ИИ | Часть 1 | Основы: графические процессоры, иерархия памяти и масштабирование

Описание: Добро пожаловать в первую часть шестисерийного видеокурса, посвященного освоению инфраструктуры ИИ. В этом вводном занятии мы рассмотрим взаимосвязь между физическим оборудованием — таким как высокотемпературные вычислительные узлы на базе графических процессоров, например, Nvidia H100, — и логической архитектурой моделей ИИ. Понимание этой взаимосвязи имеет решающее значение, поскольку правильно спланированная инфраструктура может снизить затраты на 90% и сократить время отклика до менее чем 100 миллисекунд.

Ключевые темы, рассматриваемые в этом видео:
• Архитектура GPU против архитектуры CPU: Узнайте, почему традиционная последовательная обработка на CPU недостаточна для глубокого обучения и как масштабные параллельные матричные вычисления графических процессоров, обладающих тысячами ядер, позволяют обрабатывать терабайты данных.

• Иерархия памяти и узкие места: Подробное изучение уровней памяти — от высокоскоростной памяти (HBM) до системной оперативной памяти и NVMe-хранилища. Мы объясним, почему управление перемещением данных часто важнее, чем чистая вычислительная мощность, чтобы избежать «траты денег» впустую, пока графический процессор простаивает.

• «Нервная система» сетей ИИ: Изучите роль PCIe, NVLink и InfiniBand в обеспечении высокоскоростной передачи данных во время распределенного обучения. Медленная сеть может снизить эффективность обучения более чем на 50%.

• Жизненный цикл рабочей нагрузки ИИ: Мы рассмотрим четыре основных типа рабочих нагрузок: обучение, тонкая настройка, вывод в реальном времени и пакетный вывод, и объясним, как выбрать оборудование в зависимости от этих конкретных потребностей.

• Метрики производительности и оптимизация: Разберитесь в важной терминологии и метриках, таких как использование FLOP-операций модели (MFU), пропускная способность (токены в секунду) и задержка. Мы также представим методы оптимизации, такие как квантование, смешанная точность и накопление градиента.
К концу этого видео вы поймете, что ИИ — это не просто код; это масштабная оркестровка специализированного оборудования и математики.
Оставайтесь с нами во второй части, где мы углубимся в конкретные требования к инфраструктуре для рабочих нагрузок обучения.