Создание оценок для агентов с возможностью оптимизации через «восхождение на холм»

Описание: Обсуждение бенчмарков и оценок, а также того, как они все чаще используются не только в качестве регрессионных тестов, но и в качестве целей для оптимизации агентов и LLM после обучения. Возможно, однажды мы все достигнем вершины той горы, на которую взбираемся.

Ресурсы:
Блог о бенчмарках - https://lucek.ai/blogs/environments
Лаборатория Харви - https://www.harvey.ai/blog/introducin...
IssueBench v1 - https://www.langchain.com/blog/issueb...
Автоматизация проектирования оценки с помощью Claude - https://claude.dev/blog/automating-ev...

Главы:
00:00 - Введение
01:04 - Определение бенчмарка
03:54 - Пример из лаборатории
10:36 - Как это делается
17:47 - Восхождение на холм
20:57 - Почему это важно

#ai #программирование #наукаоданных