Перенос данных ИИ на SSD-накопители открывает возможности для масштабируемого вывода и RAG.

Описание: Узнайте, как Solidigm и Metrum AI трансформируют вывод данных в области ИИ с помощью генерации с расширением поиска (RAG) и разгрузки на твердотельные накопители (SSD). В этой демонстрации мы покажем, как перенос весов моделей ИИ и больших наборов данных на экономичные SSD-накопители может сократить использование памяти, повысить производительность и снизить эксплуатационные расходы. Используя реальные примеры, такие как анализ безопасности дорожного движения, мы покажем, как разгрузка на SSD позволяет большим моделям, таким как Llama 3.3 70B LLM, работать на графических процессорах с ограниченным объемом памяти, увеличивая при этом количество запросов в секунду и сохраняя точность.

Узнайте о полной методологии, программном стеке и результатах производительности, и убедитесь, почему разгрузка на SSD меняет правила игры для инженеров ИИ, специалистов по обработке данных и организаций, масштабирующих рабочие нагрузки ИИ.

Основные темы:

▪ Вывод данных в ИИ и модели RAG
▪ Разгрузка SSD для снижения затрат на память
▪ Реальная демонстрация: анализ безопасности дорожного движения
▪ Повышение производительности и улучшение QPS
▪ Инструменты и методология с открытым исходным кодом

Подробнее см.: https://www.solidigm.com/products/tec...