Представляем вам сравнительные тесты сообщества на Kaggle!

Описание: Тесты сообщества уже здесь 🚀

В этом кратком руководстве вы узнаете, как создавать задачи и тесты с помощью тестов сообщества Kaggle — нового, гибкого способа для всех желающих оценивать и делиться возможностями моделей ИИ.

В видеоролике показано, как начать работу с пользовательским интерфейсом тестов и Python SDK, где вы сначала узнаете, как создать задачу — основной строительный блок теста. Задача — это оценка на основе Python, которая определяет проблему и то, как оцениваются выходные данные модели. Модели получают запросы через стандартизированный интерфейс без необходимости использования ключей API или оплаты. В примере модели предлагается сгенерировать изображение лошади в формате ASCII, а для оценки того, похож ли результат на лошадь, используется LLM-критерий. Результаты визуально проверяются для подтверждения ожидаемого поведения.

Далее вы узнаете, как создать тест, сгруппировав одну или несколько задач и запустив их на наборе поддерживаемых моделей ИИ. Бенчмарки генерируют таблицы лидеров, позволяющие сравнивать производительность моделей по важным для вас параметрам, таким как логическое мышление, генерация кода, понимание мультимодальных данных и использование инструментов. Результаты можно изучать с помощью представлений в виде трибуны и таблиц, чтобы лучше понять, как и почему модели работают по-разному.

С помощью Community Benchmarks глобальное сообщество может разрабатывать, запускать и делиться пользовательскими оценками, выходящими за рамки статических показателей точности. Задачи и бенчмарки можно сохранять, запускать повторно и публиковать, чтобы другие могли их использовать и развивать. Список поддерживаемых моделей постоянно растет и развивается.

🔹 Бесплатный доступ к ведущим моделям ИИ (в пределах квот)
🔹 Воспроизводимые и проверяемые оценки
🔹 Поддержка мультимодальных входных данных, многоэтапных диалогов и использования инструментов
🔹 Автоматически генерируемые и доступные для совместного использования таблицы лидеров

Нужна помощь в начале работы с Kaggle Community Benchmarks?

🔹 Узнайте, как создавать задачи: https://www.kaggle.com/docs/benchmarks
🔹 Изучите руководство по SDK: https://github.com/Kaggle/kaggle-benc...
🔹 Просмотрите примеры задач: https://github.com/Kaggle/kaggle-benc...
🔹 Посмотрите результаты тестов сообщества: https://www.kaggle.com/benchmarks?typ...

Начните прямо сейчас: https://www.kaggle.com/benchmarks?typ...