Кирилл Колодяжный — Роль C++ в архитектуре современных платформ машинного обучения

Описание: Подробнее о конференции C++ Russia: https://jrg.su/9Sszhd
— —
Скачать презентацию с сайта C++ Russia — https://jrg.su/7f9FRH

Машинное обучение в основном ассоциируется с Python, в то время как C++ незаслуженно обходят стороной. Это связано с тем, что C++ считается слишком тяжелым инструментом для реализации моделей и быстрого прототипирования. Но именно C++ используется для разработки основных компонентов ML-платформ, таких как PyTorch и TensorFlow.

Кирилл рассказал, как C++ на самом деле применяется в архитектуре платформ для разработки ML-приложений. Для наглядности он показал пошаговую реализацию основных компонентов с нуля, аналогично тому, как это делается в PyTorch:
1. Реализацию API, аналогичного PyTorch, для обучения нейронных сетей.
2. Механизм автоматического дифференцирования на основе графа вычислений.
3. Возможности C++ для создания графа вычислений.
4. Подходы для работы с несколькими реализациями численных вычислений (CPU/GPU).
5. Связь математических выражений и слоев нейронной сети с графом.
6. Интеграцию C++ с Python.

Этим докладом спикер подчеркнул важную роль С++ в создании ML-платформ. Вы увидите, как используются характерные для языка идиомы (plmlp, CRTP), подходы (type-erasure, MemoryPool), функции и контейнеры стандартной библиотеки (std::any, std::function, алгоритмы random и другие). Также в докладе рассмотрели, как используются параллельные алгоритмы и макросы.