ReqLLM: унифицированный интерфейс LLM для Elixir

Описание: В этом видео я расскажу о ReqLLM, новом пакете Elixir, который предоставляет унифицированный интерфейс для работы с LLM-программами разных поставщиков.

Мы будем использовать блокнот Livebook для демонстрации потоковых ответов, структурированных выходных данных с различными форматами схем и создания ИИ-агентов с помощью вызовов инструментов. Это устраняет сложность переключения между различными поставщиками LLM и позволяет оптимизировать стоимость и производительность приложения без переписывания кода.

Что рассматривается:
Что такое ReqLLM и зачем его использовать?
– Настройка Livebook с ReqLLM
– Изучение поддерживаемых поставщиков и моделей с models.dev
– Базовая генерация текста с параметрами поставщика
– Потоковая передача ответов с потокенной обработкой
– Многовариантные диалоги с управлением контекстом
– Генерация структурированных выходных данных с помощью NimbleOptions, JSON Schema и Zoi
– Создание ИИ-агентов с вызовами инструментов и внешними источниками данных
– Отслеживание затрат и подсчёт токенов для выставления счетов

Ссылки
Демонстрационный блокнот: https://gist.github.com/ChristianAlex...
Документация ReqLLM: https://hexdocs.pm/req_llm
Livebook: https://livebook.dev
The Swarm Discord:   / discord