Gemma 4 31B против Gemma 4 26B A4B (Dense против MoE): Тест в реальных условиях на 2031 задаче

Описание: Gemma 4 31B против Gemma 4 26B A4B: плотная модель Google против смешанной модели экспертов (MoE), одного семейства, с одинаковой памятью, одним сервером, на 2031 реальном задании с известными правильными ответами. Одна Gemma обработала в 3,4 раза больше заданий. Другая дала на 176 правильных ответов больше.

Нам нужен был аудитор. Qwen 3.8 27B собирает данные для моего бизнеса, а вторая модель проверяет каждый из них перед размещением на сайте. Обе Gemma попали в шорт-лист, и мы выбрали плотную. Вот почему, и когда лучше использовать MoE.

Плотная модель против MoE: 31B — это один глубокий стек из 60 слоев, и каждый токен проходит через все 31 миллиард параметров. 26B A4B вдвое менее глубокая, 30 слоев, причем большая часть каждого слоя разделена на 128 небольших экспертов. Маршрутизатор выбирает 8 из них для каждого токена, плюс один общий эксперт, который работает постоянно, поэтому для каждого токена обрабатывается всего около 4 миллиардов параметров. Каждый эксперт всё равно должен быть загружен, и каждый из них занимает 36 ГБ, что слишком много для одной 32-гигабайтной карты R9700, поэтому каждая Gemma работала на двух картах.

Без учета логического мышления, «плотный» ответил правильно на 82,5%, а «уравновешенный» — на 73,8%. Разница обусловлена ​​отклоненными правильными фактами: 276 у «уравновешенного», 94 у «плотного». Количество пропущенных неправильных фактов было примерно одинаковым — 188 и 193. Чем длиннее доказательства, тем больше разница: от примерно 7 баллов в самом коротком квартале заданий до примерно 12 в самом длинном, при этом «плотный» оказался лучше в 21 из 25 типов фактов.


При одинаковом времени выполнения на Radiance (один сервер, два движка по две карты, восемь заданий одновременно) Dense выполнял около 24 заданий в минуту, а MoE — около 82. С включенным обдумыванием Dense показал 86,1%, а MoE — 81,9% (в обоих случаях некоторые задания остались без ответа, и это неправильно учитывается), а MoE обдумывал около 1400 токенов в типичном задании против 500 у Dense.

Выбирайте MoE, когда скорость важнее последних нескольких пунктов: короткие запросы, чат, который должен проходить быстро, первый проход, когда работу проверяет что-то другое, или машина с недостаточным объемом видеопамяти. Выбирайте Dense, когда задание требует оценки, доказательства занимают много времени или ошибка стоит вам больше нескольких секунд.

Оба теста проводились на Radiance 1.14 с одинаковыми настройками: температура 0.6, top-p 0.95, начальное значение генератора случайных чисел 17, как и во всех тестах этой серии (Google рекомендует 1.0). В сборке Dense используется коллективный промежуточный 8-битный билд; в сборке MoE веса экспертных ворот и улучшений указаны в FP8, а остальные — в BF16.

Модель видеокарты Gemma 4 31B: https://huggingface.co/google/gemma-4...
Модель видеокарты Gemma 4 26B A4B: https://huggingface.co/google/gemma-4...
Проведенная мной сборка с высокой плотностью кода: https://huggingface.co/keptn/gemma4-3...
Проведенная мной сборка MoE: https://huggingface.co/StillDeadcode/...
Radiance: https://codeberg.org/StillDeadcode/ra...
Как мы определяем, правильный ли ответ ИИ или достаточно близок к нему:    • Two AI Models Checked It. Both Were Wrong.  
Система, в которой работают эти модели:    • Build a Self-Improving AI Harness instead ...  
Моя Gemma 4 31B против Qwen Тест 3.8 27B:    • Gemma 4 31B vs Qwen 3.8 27B: Real World Te...  
Мой тест GLM Flash против DeepSeek Flash:    • GLM 5.3 Flash vs DeepSeek V4.1 Flash: Real...  

Мы создаём реальный бенчмарк, который выходит за рамки проверки фактов. Был бы вам полезен бенчмарк для бухгалтерского учёта? Дайте мне знать в комментариях.

0:00 Gemma 4 31B против 26B A4B
0:40 Плотный против смешанного экспертного (MoE)
1:38 Размышления
3:01 Скорость против скорости
3:54 Размышления
4:39 Плотный или MoE: какой Gemma 4 использовать в каком случае
5:16 Что дальше