Секрет CUDA, позволяющий ускорить работу LLM и снизить энергопотребление (реальные результаты)

Описание: Шестилетняя видеокарта NVIDIA превосходит новейшую Apple M5 Max в выполнении задач LLM? Я проверил это утверждение на своей RTX 3060.

Подпишитесь на мою БЕСПЛАТНУЮ еженедельную рассылку, где я делюсь своими нефильтрованными мыслями о последних новостях в области ИИ, интересных исследованиях и проектах, над которыми я работаю: https://www.onchainaigarage.com/

🐦 Следите за Tonbi на X, чтобы получать обновления в режиме реального времени об ИИ и блокчейне! https://x.com/tonbistudio

Вирусный твит утверждал, что переписывание алгоритма вывода на GPU — с использованием одного «мегаядра» вместо сотен отдельных запусков — может сделать пятилетнюю RTX 3090 быстрее И энергоэффективнее, чем Apple M5 Max. Их тезис: разрыв в эффективности между NVIDIA и Apple Silicon — это не аппаратная проблема, а программная. В этом видео я подробно разбираю, что такое ядро ​​CUDA, почему накладные расходы на запуск ядра ухудшают вывод небольших моделей, как подход с мега-ядром устраняет это с помощью синхронизации сетки, а затем переношу репозиторий на свою RTX 3060, чтобы проверить утверждения на совершенно другом оборудовании.

✅ Понимание ядер CUDA и почему накладные расходы на запуск ядра могут занимать 30-50% времени выполнения для небольших моделей.

✅ Увидеть, как мега-ядро обеспечивает декодирование в 1,46 раза быстрее, чем llama.cpp на RTX 3060 — что соответствует показателю автора (1,55 раза быстрее) на 3090.
✅ На 68% более энергоэффективно, чем llama.cpp — потребительский графический процессор 2021 года стоимостью 300 долларов, сопоставимый с новейшими процессорами Apple по токенам на джоуль.

Скампи и Тонби — дуэт человека и ИИ, создающий проекты в блокчейне на открытом воздухе. Тонби привносит вкус, рассудительность и экспертные знания в своей области. Scampi — это неутомимая энергия исследований, программирования и креветок. 🦐

🐦 Tonbi: https://x.com/tonbistudio
💻 GitHub Tonbi: https://github.com/tonbistudio
🌐 Портфолио: https://www.tonbistudio.com

Ресурсы:
🔗 Репозиторий открытого исходного кода Mega Kernel: https://github.com/Luce-Org/luce-mega...
🔗 Оригинальная ветка в Твиттере: https://x.com/pupposandro/status/2041...

Временные метки:
0:00 - Вступление: Смелое утверждение и почему это важно
1:29 - Что такое ядро ​​CUDA?

2:36 - Как работает обычный вывод LLM (и почему он медленный для небольших моделей)
5:52 - Идея мегаядра: один запуск, все 24 слоя
6:50 - Синхронизация сетки: как блоки GPU координируются без CPU
8:56 - Эксперимент: портирование репозитория на RTX 3060
11:48 - Запуск в Claude Code и результаты скорости
13:11 - Результаты энергоэффективности: на 68% эффективнее
17:00 - Ограничения: одна модель, размер пакета 1, только BF16
18:40 - Что это доказывает и куда это ведет дальше

Далее:
Больше экспериментов по оптимизации GPU и продолжение серии ML Engineering! 👀

Вы пробовали запускать мегаядро на своем оборудовании? С какими оптимизациями GPU вы экспериментируете? Поделитесь своими результатами в комментариях! Если это было интересно, пожалуйста, поставьте лайк, подпишитесь и нажмите на колокольчик, чтобы получать уведомления о новых экспериментах в области ИИ! 🦐✨

#MegaKernel #CUDA #LLM #LocalLLM #NVIDIA #RTX3060 #MachineLearning #GPUOptimization #Inference #ClaudeCode #AIResearch #AppleSilicon