Инженерия систем машинного обучения: От основ до развертывания на Edge-устройствах

Описание: Введение в Инженерию систем машинного обучения (ML Systems Engineering)
Это видео предлагает глубокий обзор фундаментальных принципов и практических методов проектирования систем машинного обучения, основанных на материалах учебника профессора Виджая Джанапа Редди (Prof. Vijay Janapa Reddi)
.
Многие инженеры знают, как обучать модели ИИ, но лишь немногие понимают, как создавать системы, которые действительно работают в реальных производственных условиях
. Наш подход помогает увидеть целостную архитектуру ML-систем, а не только отдельные компоненты
.
Что такое ML-система? Система машинного обучения определяется как интегрированная вычислительная система, включающая три основных компонента:
1. Данные, которые направляют алгоритмическое поведение
.
2. Алгоритмы обучения, которые извлекают паттерны из этих данных
.
3. Вычислительная инфраструктура, которая обеспечивает как процесс обучения (тренировку), так и применение полученных знаний (инференс/обслуживание)
.
Ключевые темы, которые мы рассматриваем:
1. Жизненный цикл ИИ (AI Workflow) и данные ML-системы отличаются от традиционного программного обеспечения своей циклической и итеративной природой, основанной на механизмах обратной связи
. Вы узнаете о шести основных этапах жизненного цикла, от Определения проблемы до Мониторинга и обслуживания
.
Мы подробно разбираем Инженерию данных — систематическую дисциплину, необходимую для преобразования исходной информации в надежные, готовые для ML наборы данных
. Критически важные концепции включают:
• Четыре столпа (Качество, Надежность, Масштабируемость, Управление) для оценки решений по данным
.
• Обеспечение согласованности тренировки и обслуживания (Training-Serving Consistency) для предотвращения основной причины сбоев в производственных ML-системах
.
• Различные подходы к разметке данных, включая автоматизированную разметку, как в случае с системой Распознавания ключевых слов (KWS)
.
2. Архитектуры глубокого обучения (DNN Architectures) Мы анализируем, как выбор архитектуры определяет вычислительную сложность и требования к памяти
. В обзоре представлены:
• Сверточные нейронные сети (CNN): Используют локальную связность и совместное использование параметров (parameter sharing) для эффективной обработки пространственных данных, таких как изображения
.
• Трансформеры (Transformers): Архитектуры, полностью построенные на механизмах внимания (attention mechanisms), позволяющие динамически определять важные взаимосвязи в данных, независимо от их положения
.
3. Оптимизация для эффективности и развертывания Поскольку системы ИИ часто ограничены ресурсами (памятью, энергопотреблением)
, мы детально рассматриваем три ключевых метода оптимизации моделей
:
• Прунинг (Pruning): Удаление ненужных весов или структур (нейронов/фильтров), что может сократить модель в 10–100 раз
.
• Квантование (Quantization): Снижение численной точности (например, с FP32 до INT8), что в 4 раза уменьшает размер модели и ускоряет вывод на специализированном оборудовании
.
• Дистилляция знаний (Knowledge Distillation): Передача знаний от большой "учительской" модели к меньшей "студенческой" для сохранения высокой точности при меньшем количестве параметров
.
Мы анализируем различные парадигмы развертывания ML
, включая Cloud ML (центры обработки данных), Edge ML (локальные серверы), Mobile ML (смартфоны) и Tiny ML (микроконтроллеры). Гибридные системы (Hybrid ML) объединяют эти парадигмы для использования их комплементарных преимуществ
.
4. Практические лабораторные работы (Hands-On Labs) Учебник предлагает практические упражнения для реализации всего, что вы изучили, от систем на базе микроконтроллеров до Edge-платформ
. Лабораторные работы включают:
• Классификацию изображений (Image Classification)
.
• Распознавание ключевых слов (KWS)
.
• Классификацию движения и обнаружение аномалий с использованием инерциальных измерительных модулей (IMU)
.
• Работа с платформами, такими как Arduino Nicla Vision
и Raspberry Pi
.

--------------------------------------------------------------------------------
Ресурсы и Поддержка
Этот проект был разработан в результате совместной работы в Гарвардском университете (курс CS249r)
и является открытым ресурсом
.
• Поддержите миссию: Учебник находится в открытом доступе. Вы можете поддержать нашу миссию, поставив звезду на репозитории GitHub: [github.com/harvard-edge/cs249r_book]
.
• Онлайн-обучение: На сайте mlsysbook.ai доступен ИИ-помощник SocratiQ, который предлагает интерактивные викторины и персонализированные объяснения
.
• AI Podcast: Послушайте подкаст, который предлагает доступный обзор ключевых идей и тем книги
.