#471

Описание: На двухъядерном процессоре те же самые вычисления для обучения заняли бы двести шестьдесят восемь лет; на одном процессоре A100 — около одиннадцати дней. Графические процессоры были разработаны для отрисовки видеоигр, а не для обучения нейронных сетей. В видео 471 из цикла «Искусственный интеллект: от нуля до наших дней» мы задаемся вопросом: зачем графические процессоры обучают ИИ?

В этом видео:
• Несколько больших ядер ЦП против тысяч простых линий GPU: почему матричное произведение идеально разделяется
• Измерение скорости работы матрицы на ЦП: большие произведения выполняются быстрее
• Тензорные ядра: небольшие матричные произведения за один шаг, в 16 раз быстрее, чем скорость FP32 на A100
• Систолические массивы TPU: каждое число считывается один раз и используется повторно, моделируется пошагово в NumPy
• Пропускная способность памяти, интенсивность арифметических операций и «крыша»: вычислительно-ограниченная задача против вычислительно-ограниченной задачи
• Почему поэлементное сложение выигрывает только в коэффициенте пропускной способности, а не в коэффициенте вычислительной мощности

⏱ Разделы
0:00 Введение
0:24 Вводный вопрос
0:46 Краткий обзор
1:16 1. Много простых рабочих процессов
3:16 2. Матричные движки
6:11 3. Пропускная способность
8:09 Вопрос с подвохом
9:16 Итоговая доска
9:58 Проверка цели
11:14 Попробуйте вы сами
11:39 Следующее видео
12:02 Заключение

📚 Об этой серии
Серия «Искусственный интеллект: от нуля до наших дней» строит всю тему ИИ с нуля: идеи, математика и код, пока вы не сможете сами создать настоящий ИИ. Одна идея в каждом видео, объясненная полностью и простым языком.

▶ Ссылка на Google Drive: https://drive.google.com/drive/folder...

🔔 Подпишитесь на LetsLearn AI, чтобы получать новые уроки по ИИ каждую неделю

💬 Вопросы? Оставляйте их в комментариях. Я читаю все.

#GPU #ГлубокоеОбучение #ИзучениеИИ