SNIA SDC 2025 — улучшенный вывод на основе больших объемов данных

Описание: Предприятия спешат внедрять решения для вывода ИИ на основе RAG для решения бизнес-задач, но энтузиазм по поводу потенциала этой технологии опережает готовность инфраструктуры. Использование более сложных моделей и больших наборов данных RAG быстро становится чрезмерно дорогим или даже невозможным из-за стоимости памяти. Используя программные компоненты с открытым исходным кодом и высокопроизводительные твердотельные накопители NVMe, мы исследуем два различных, но взаимосвязанных подхода к решению этих задач и выходу на новые уровни масштабирования: выгрузку весовых коэффициентов моделей в хранилище с помощью DeepSpeed ​​и выгрузку данных RAG в хранилище с помощью DiskANN. Объединяя эти подходы, мы можем добиться (а) более сложных моделей, работающих на графических процессорах, которые ранее было невозможно использовать, и (б) повышения экономической эффективности при использовании больших объемов данных RAG. Мы обсудим этот подход, поделимся результатами бенчмаркинга и продемонстрируем работу решения на примере. Возможности и проблемы, связанные с выводом ИИ с помощью RAG. Стек решений, позволяющий перенести значительные объёмы данных ИИ из памяти на SSD. Влияние пересылки SSD на использование DRAM, количество запросов в секунду, время индексации и время отзыва. Результаты применения подхода к пересылке SSD на примере использования (видеоролик о трафике).

Представлено Эйсом Страйкером, Solidigm.
Подробнее:
• Веб-сайт SDC: https://www.snia.org/sniadeveloper
• Веб-сайт SNIA: https://snia.org/
• Образовательная библиотека SNIA: https://snia.org/library
• X:   / snia  
• LinkedIn:   / snia