Нейронные сети: современные методы оптимизации и глубокое обучение

Описание: Доклад Михаила Дуринова про нейронные сети: современные методы оптимизации, применяемые в ведущих IT-компаниях и актуальная информация про глубокое обучение.

📝 | Темы выпуска:
→ Какие есть эффективные подходы для оптимизации обучения и инференса нейронных сетей?
→ Какие девайсы подходят для обучения нейронных сетей?
→ Чем отличаются процессоры Huawei от других?

⌛ | Таймкоды:
00:00 Руководитель DSC
00:35 Вступительное слово Михаила
01:04 Про что расскажет Михаил на митапе
01:21 Постановка первоначальной задачи
02:12 Отличия и использование процессоров Ascend 910 и Ascend 310
03:38 Роль процессоров Ascend в AI
05:28 Характеристики architecture DaVinci
06:10 Назначение двух частей software stack for inference
07:14 Как правильно оптимизировать модель, идеи
08:35 Идея TASO (The Tensor Algebra SuperOptimizer for Deep Learning)
10:38 Техника по оптимизации нейронных сетей quantization
12:15 Про смысл и параметры quantization
14:53 Hardware possibilities for quantization
15:45 Принцип работы heterogeneous inference
19:33 Ускорение performance measurements
20:18 Техника дистилляции
20:50 Выводы доклада
22:24 Ответы на вопросы

✔️ | Наши группы в соцсетях:
→ https://vk.com/dsc_hse
→   / dsc_hse_nn