Оценка продукта (для приложений ИИ) в три простых шага

Описание: Юджин Ян написал ОТЛИЧНУЮ запись в блоге о том, как создавать оценки продукта (для приложений ИИ) за три простых шага: https://eugeneyan.com/writing/product...

Эти три шага:
1. Маркировка данных
2. Назначение LLM в качестве судьи-оценщика
3. Использование этого для всех изменений

LangSmith отлично подходит для создания оценок, поскольку поддерживает все три этапа:
1. Очереди аннотаций
2. Согласование потока оценок
3. Эксперименты

Дополнительную документацию о том, как это сделать в LangSmith, можно найти здесь: https://docs.langchain.com/langsmith/...