Автоматизированное тестирование агентов с использованием синтетических наборов данных | Экспериме...

Описание: Узнайте, как систематически тестировать агентов ИИ, используя платформу наборов данных и экспериментов Galileo. В этой демонстрации показано, как генерировать синтетические тестовые данные, проводить контролируемые эксперименты и выявлять регрессии до внедрения в производство — со встроенной интеграцией CI/CD для автоматизированных проверок качества.

В этой демонстрации наш инженер по работе с клиентами, Эл Чен, расскажет вам о:

Создании синтетических наборов данных с 6 профилями поведения пользователей
Автоматической генерации 50 тестовых случаев из примеров с небольшим количеством примеров
Проведении систематических экспериментов с использованием стандартных метрик
Фильтрации и анализе результатов для выявления закономерностей сбоев
Интеграции экспериментов в конвейеры CI/CD
Сравнении экспериментов на разных наборах данных и конфигурациях

Создано для агентов по обслуживанию клиентов, помогающих устранять неполадки в бытовой технике. Демонстрирует, как команды могут проводить стресс-тестирование приложений на токсичных входных данных, запросах не по теме и граничных случаях до развертывания в производстве.

🔗 Попробуйте Galileo: https://app.galileo.ai/sign-up?utm_me...
📚 Документация: https://v2docs.galileo.ai/

Идеально подходит для команд разработчиков ИИ, создающих агентов для производственной среды, которым требуется всестороннее тестирование без ручного создания тестовых сценариев.

0:00 - Систематические эксперименты для тестирования агентов
0:30 - Выявление ошибок и регрессий до начала производства
1:00 - Интеграция конвейера CI/CD с контрольными точками качества
1:30 - Пример использования: агент «Техник по обслуживанию на местах»
2:00 - Создание синтетических наборов данных в консоли
2:30 - Функция автоматической генерации тестовых наборов данных
3:00 - Настройка профилей поведения пользователей
3:30 - Генерация 50 различных тестовых случаев
4:00 - Настройка системных подсказок для агентов
4:30 - Запуск первого эксперимента со встроенными метриками
5:00 - Результаты эксперимента в консоли
5:30 - Анализ входных метрик токсичности
6:00 - Сравнение результатов нескольких экспериментов