DEF CON 34 — Главная сцена — LGTM: Обход LLM-фильтра сборки, когда промпт-инъекция не работает — ...

Описание: Модели начинают принимать решения в области безопасности, которые раньше записывались в виде правил. Вместо сопоставления входных данных с политикой, модель считывает запрос и решает, что с ним делать. OpenSearch — одна из первых компаний, внедривших такую ​​модель в производство, сделав её единственным барьером между анонимным запросом на слияние и секретами конвейера CI.

Когда я сообщил об уязвимости, команда сказала, что их модель её обнаружит. Поэтому я попытался обойти её так, как и следовало ожидать, скрывая атаку. Модель обнаружила всё, и прямое противостояние не сработало.

Поэтому я перестал пытаться перехитрить её и начал думать как она, изучая причины обнаружения каждой попытки, пока не понял, что она может проверить, а что только предполагает. В итоге удалось обойти её, не скрывая никакой атаки, потому что единственная опасная часть находилась там, где у модели не было возможности её проверить.

В этом докладе рассматривается весь путь, от первой неудачной попытки до сработавшего обходного пути. Попутно я составил карту границ принятия решений моделью — что она улавливает, что ускользает и насколько сильно искажается входной сигнал, прежде чем ее суждение изменится. Более глубокий разрыв — это то, чего она вообще не видит, слепые зоны, заложенные в ее способе считывания изменений. Вы увидите, где модели можно доверять в принятии этого решения, а где нет, и что это значит, прежде чем вы поставите ее перед чем-то важным.