Запускаем GPT-OSS 120B на H100: первый опыт и честное мнение

Описание: В ServerFlow мы каждый день работаем с ИИ ускорителями и помогаем клиентам подбирать решения для их задач. Одна из важных частей нашей работы - тестировать новые модели и технологии, чтобы на практике понимать, чего от них ожидать. Когда в новостях появляется громкий релиз, мы стараемся как можно быстрее запустить его у себя и проверить, насколько он хорош в реальных сценариях.
Сегодня мы тестируем gpt-oss:120b размером 65 GB. Это свежая модель, которая активно обсуждается в сообществе. Мы развернули её на нашем тестовом стенде с процессором AMD EPYC 7532 и видеокартой NVIDIA H100 80GB. Для запуска использовались Ollama и OpenWebUI, так что любой, у кого есть достаточно видеопамяти, сможет повторить наш опыт.
В видео мы посмотрим, как модель отвечает на разные вопросы, проверим её в нескольких практических сценариях и сравним ощущения с тем, что о ней пишут в новостях. Наша цель — понять, действительно ли gpt-oss:120b конкурентна и может ли она стать альтернативой уже привычным решениям.
Если вам интересны реальные тесты ИИ без маркетингового шума и приукрашиваний, то это видео для вас. Мы покажем процесс запуска, поделимся наблюдениями и расскажем, стоит ли эта модель вашего внимания.

Наш сайт - https://serverflow.ru
Блог ServerFlow - https://serverflow.ru/blog/