Векторная библиотека FAISS с LangChain и OpenAI (семантический поиск)

Описание: 🧠 Не упустите свой шанс! Получите БЕСПЛАТНЫЙ доступ к моему сообществу Skool — полному ресурсов, инструментов и поддержки, которые помогут вам в работе с данными, машинным обучением и автоматизацией ИИ! 📈 https://www.skool.com/data-and-ai-aut...

В этом видео мы рассмотрим библиотеку векторной графики Facebook AI Similarity Search (FAISS). На нескольких примерах мы возьмем документ, разделим его на части, настроим эмбеддинги и выполним поиск по нему.


Код: https://ryanandmattdatascience.com/fa...

🚀 Закажите мои услуги по работе с данными: https://ryanandmattdatascience.com/da...
👨‍💻 Наставничество: https://ryanandmattdatascience.com/me...
📧 Электронная почта: [email protected]
🌐 Веб-сайт и блог: https://ryanandmattdatascience.com/
🖥️ Discord:   / discord  
📚 * Практические вопросы для собеседования по SQL и Python: https://stratascratch.com/?via=ryan
📖 * Курсы по SQL и Python: https://datacamp.pxf.io/XYD7Qg

🍿 СМОТРЕТЬ ДАЛЕЕ
Плейлист OpenAI/Langchain:    • How to Build Your First AI LLM Prompts wit...  
Векторные эмбеддинги:    • LangChain (OpenAI) Vector Embeddings For B...  
Цепочки Langchain:    • LangChain Chains for Beginners: An Easy In...  
Streamlit Langchain:    • Learn to Build Exciting LLM applications w...  

В этом видео я покажу вам, как использовать FAISS (Facebook AI Similarity Search) для создания векторной базы данных для поиска и извлечения документов. Начнём с разбора того, что такое FAISS и как он хранит векторные представления, а затем перейдём к практической реализации на Python с использованием LangChain и векторных представлений OpenAI.

Я продемонстрирую полный рабочий процесс: загрузку статьи о Metallica в Википедии, её разбиение на фрагменты с помощью рекурсивного текстового разделителя, преобразование фрагментов в векторные представления и их сохранение в библиотеке векторов FAISS. Вы увидите три ключевых примера использования — поисковые запросы по сходству, ретриверы с цепочками вопросов и ответов и сохранение/загрузку индексов FAISS для повторного использования. Мы протестируем систему на реальных запросах, таких как «Кто заменил Клиффа Бертона?» и «Какой альбом Metallica больше всего ненавидят фанаты?», чтобы показать, как семантический поиск работает на практике.

К концу этого урока вы поймёте, как реализовать векторные базы данных для поиска документов, выполнять поиск по сходству с оценкой, использовать ретриверы для систем вопросов и ответов и сохранять ваши индексы FAISS, чтобы избежать их перестроения. Независимо от того, разрабатываете ли вы чат-бота, поисковую систему или RAG-приложение, эти базовые знания помогут вам эффективно использовать векторные базы данных. Весь код демонстрируется в Google Colab с пошаговыми объяснениями.

ВРЕМЕННЫЕ МЕТКИ
00:00 Введение в FAISS
01:00 Настройка Google Colab и импорт
03:02 Загрузка документов и разделение текста
05:17 Создание встраиваний и векторной библиотеки
08:48 Пример поискового запроса по сходству
12:22 Понимание оценок сходства
14:40 Использование FAISS в качестве средства поиска
17:32 Тестирование результатов запроса
18:17 Сохранение и загрузка индекса FAISS

ДРУГИЕ СОЦИАЛЬНЫЕ СЕТИ:
LinkedIn Райана:   / ryan-p-nolan  
LinkedIn Мэтта:   / matt-payne-ceo  
Twitter/X: https://x.com/RyanMattDS

Кто такой Райан
Райан — специалист по анализу данных в финтех-компании, где он занимается предотвращением мошенничества в андеррайтинге и управлении рисками. До этого он работал аналитиком данных в компании, занимающейся разработкой налогового программного обеспечения. Он имеет степень бакалавра электротехники Университета Центральной Флориды (UCF).

Кто такой Мэтт?
Мэтт — основатель Width.ai, агентства, занимающегося искусственным интеллектом и машинным обучением. До создания собственной компании он работал инженером по машинному обучению в Capital One.

*Это партнерская программа. Мы получаем небольшую часть от конечной продажи без дополнительных затрат для вас.