Введение в Тритона: побочный квест в MyTorch!

Описание: В наших попытках создать фреймворк для глубокого обучения мы столкнулись с препятствием! Обучение происходит слишком медленно и требует слишком много памяти для больших моделей! Мы хотим воспроизвести GPT2 (124 МБ), поэтому пришло время использовать наши объединенные ядра. Мы могли бы сделать это на CUDA, но Triton намного проще и доступнее, поэтому мы так и поступим!

Сегодня мы заложим основу для понимания некоторых фундаментальных принципов программирования для GPU и того, чего ожидать от Triton!

Временные метки:
00:00:00 - Введение
00:01:00 - GPU и задачи с высокой степенью параллелизма
00:02:30 - GPU против CPU
00:04:20 - Код CUDA для суммирования векторов
00:05:38 - Искажения (Warps)
00:07:00 - Все данные - это векторы!

00:08:30 - Проблемы, связанные с вычислительными ограничениями
00:09:30 - Проблемы, связанные с ограничениями памяти
00:10:15 - Объединение памяти
00:12:20 - Объединенные ядра
00:15:25 - Почему Triton?

00:15:45 - Пример CUDA против Triton
00:23:45 - Наш подход
00:24:45 - План обучения

Социальные сети!

X   / data_adventurer  
Instagram   / nixielights  
Linkedin   / priyammaz  
Discord   / discord  
🚀 Github: https://github.com/priyammaz
🌐 Веб-сайт: https://www.priyammazumdar.com/