Взлом ИИ-агентов: Новые угрозы, Prompt Injection и защита от OpenAI

Описание: В этом видео мы разбираем, почему автономные ИИ-агенты становятся новой главной целью для хакеров и как компании пытаются с этим бороться. В отличие от обычных чат-ботов, ИИ-агенты могут планировать действия, сохранять информацию в памяти и управлять внешними инструментами, что создает уникальные уязвимости.

Мы обсудим:
🔹 *Новая модель угроз (ATFAA):* Исследователи выделили 9 основных угроз для агентов, включая «отравление памяти» (memory poisoning) и «перехват цепочки рассуждений» (reasoning path hijacking), которые позволяют манипулировать логикой ИИ.
🔹 *Опасные ссылки и MalURLBench:* Тесты показывают, что современные LLM плохо распознают замаскированные вредоносные URL, что позволяет злоумышленникам перехватывать данные. Агенты могут случайно «слить» конфиденциальную информацию через параметры в URL.
🔹 *Решение от OpenAI:* Как работает новая система безопасности ссылок (Link Safety)? OpenAI внедрила «независимый веб-индекс» — агенты теперь автоматически переходят только по тем ссылкам, которые уже известны как публичные, блокируя попытки скрытой эксфильтрации данных.
🔹 *Песочницы и CELLMATE:* Обзор нового фреймворка CELLMATE, который изолирует действия агента в браузере и использует «карты сайта агента» (Agent Sitemaps) для контроля полномочий на уровне HTTP-запросов.
🔹 *Реальность Guardrails:* Почему даже встроенные фильтры безопасности (Guardrails) могут давать сбои, принимая имена литературных персонажей за персональные данные, и почему Prompt Injection может остаться вечной проблемой.

Узнайте, как защитить свои данные в эпоху автономного ИИ и какие методы защиты (SHIELD, URLGuard) предлагают эксперты.


#ИИагенты #кибербезопасность #OpenAI #ChatGPT #PromptInjection #LLM #информационнаябезопасность #взломИИ #защитаданных #CELLMATE #MalURLBench #уязвимости #искусственныйинтеллект #вебагенты