USENIX Security '25 — Небезопасный поиск на основе LLM: количественный анализ и снижение рисков б...

Описание: USENIX Security '25 — Небезопасный поиск на основе LLM: количественный анализ и снижение рисков безопасности в веб-поиске с использованием ИИ

Цзэрэн Ло, Цзыфань Пэн, Юл Лю и Чжэнь Сунь, Гонконгский университет науки и технологий (Гуанчжоу); Минчэнь Ли, Гонконгский университет науки и технологий (Гуанчжоу); Университет Северного Техаса; Цзинъи Чжэн и Синьлэй Хэ, Гонконгский университет науки и технологий (Гуанчжоу)

Последние достижения в области больших языковых моделей (LLM) значительно расширили возможности поисковых систем на базе ИИ (AIPSE), предлагая точные и эффективные ответы благодаря интеграции внешних баз данных с уже имеющимися знаниями. Однако мы наблюдаем, что эти AIPSE повышают риски, такие как цитирование вредоносного контента или ссылки на вредоносные веб-сайты, что приводит к распространению вредоносной или непроверенной информации. В данном исследовании мы проводим первую количественную оценку рисков безопасности для семи производственных систем AIPSE, систематически определяя модель угроз, тип риска и оценивая ответы на различные типы запросов. На основе данных, собранных из PhishTank, ThreatBook и LevelBlue, наши выводы показывают, что AIPSE часто генерируют вредоносный контент, содержащий вредоносные URL-адреса, даже при использовании безобидных запросов (например, с безобидными ключевыми словами). Мы также наблюдаем, что прямой запрос URL-адреса увеличивает количество основных ответов, содержащих риск, в то время как запросы на естественном языке немного снижают этот риск. По сравнению с традиционными поисковыми системами, AIPSE превосходят их как по полезности, так и по безопасности. Мы также проводим два тематических исследования, посвященных подмене онлайн-документов и фишингу, чтобы продемонстрировать легкость обмана AIPSE в реальных условиях. Для снижения этих рисков мы разрабатываем агентную защиту с инструментом уточнения контента на основе GPT-4.1 и детектором URL-адресов. Наша оценка показывает, что наша защита может эффективно снизить риск, при этом затраты на доступную информацию составят всего лишь около 10,7%. Наше исследование подчеркивает острую необходимость в надежных мерах безопасности в системах автоматизированной защиты данных (AIPSE).

С полной программой конференции USENIX Security '25 можно ознакомиться по ссылке: https://www.usenix.org/conference/use...