Spring AI 2.0: Пользовательские советники (Advisors) для логирования инструментов и токенов

Описание: Вы когда-нибудь задумывались, какие инструменты на самом деле использует ваша языковая модель и сколько токенов потребляет каждый вызов? Spring AI Advisors предоставляют вам возможности, подобные AOP (аспектно-ориентированному программированию), для взаимодействия с вашим ИИ, позволяя перехватывать, регистрировать и отслеживать каждый вызов вашей языковой модели.

В этом видео мы рассмотрим API Advisor в Spring AI, создав с нуля два пользовательских советника. Первый — это AvailableToolsLoggingAdvisor, который показывает, какие инструменты видны модели до вызова и какие были фактически вызваны после. Второй — это TokenCounterAdvisor, который отслеживает токены подсказки, токены завершения и общее количество токенов с накопительными суммами по нескольким вызовам. Попутно вы узнаете, как советники работают в качестве перехватчиков до/после вызовов языковой модели, как использовать метаданные ChatResponse и как интегрировать инструменты в ваш чат-клиент Spring AI.


Разберитесь, что такое Spring AI Advisors и как они работают в режиме AOP для вызовов LLM.
Создайте AvailableToolsLoggingAdvisor для регистрации загруженных и вызванных инструментов.
Создайте TokenCounterAdvisor для отслеживания запросов, завершения и общего использования токенов за вызов.
Узнайте, как использовать метаданные ChatResponse для статистики использования.
Подключите пользовательские инструменты (например, инструмент DateTime) и посмотрите, как они работают с советниками.

0:00 - Введение - Почему мне понадобились пользовательские советники
1:10 - Что такое Spring AI Advisors?

2:30 — Справочная документация Spring AI и встроенные советники
3:30 — Настройка проекта на start.spring.io
4:30 — Настройка ключа API и модели
5:15 — Создание ChatController и ChatResponse
6:45 — Понимание использования токенов из ChatResponse
8:00 — Добавление инструмента DateTime для вызовов LLM
10:00 — Создание AvailableToolsLoggingAdvisor (до)
13:30 — Добавление метода after для логирования вызываемых инструментов
16:30 — Тестирование AvailableToolsLoggingAdvisor
17:45 — Создание TokenCounterAdvisor
20:30 — Тестирование TokenCounterAdvisor
21:30 — Заключение и что дальше (поиск инструментов)

🔗Ресурсы и ссылки, упомянутые в этом видео:
Справочная документация Spring AI — Советники: https://docs.spring.io/spring-ai/refe...
Spring Initializr: https://start.spring.io
Мастер-класс Дэна Веги по Spring AI (GitHub): https://github.com/danvega/spring-ai-...

👋🏻Свяжитесь со мной:
Веб-сайт: https://www.danvega.dev
Твиттер:   / therealdanvega  
Github: https://github.com/danvega
LinkedIn:   / danvega  
Рассылка: https://www.danvega.dev/newsletter

ПОДПИСАТЬСЯ НА МОЙ КАНАЛ: http://bit.ly/2re4GH0 ❤️