Я лишил ИИ способности говорить «нет» (объяснение метода «удаления отказа»).

Описание: В больших языковых моделях обеспечение безопасности не так надежно, как кажется. В этом видео я демонстрирую, как одна операция линейной алгебры может целенаправленно лишить модель возможности отклонять опасные запросы без снижения ее интеллекта. Я показываю это вживую на двух совершенно разных архитектурах: плотной модели (Microsoft Phi-3) и модели «смесь экспертов» (GPT-OSS 20B).


Что вы узнаете:

Что такое «направление отказа» и как его определить с помощью контрастивных пар
Как проецирование одного вектора отключает выравнивание безопасности
Почему плотные модели (Phi-3) более уязвимы, чем архитектуры MoE
Как квантование случайно действует как защита от абляции
Почему модели мышления/рассуждения сопротивляются этой атаке
Что это значит для безопасности ИИ и развертывания моделей

Показанные инструменты: Ollama, Python/NumPy, Google Model Explorer, Custom Graph Debugger

Ссылки и ресурсы:

Google Model Explorer: https://github.com/google-ai-edge/mod...
L1B3RT4S — Взлом флагманских моделей: https://github.com/elder-plinius/L1B3...

Исследование:

«Отказ в языковых моделях опосредован одним направлением» (Arditi et al.) и др., 2024): https://arxiv.org/abs/2406.11717

Инновационный центр и исследовательский центр HiddenLayer: https://www.hiddenlayer.com/innovatio...

Особая благодарность команде HiddenLayer SAI (Security AI), в частности Эоину Викенсу, Казимиру Шульцу и Тому Боннеру, за их новаторские исследования уязвимостей моделей ИИ и безопасности цепочек поставок. Они находятся в авангарде выявления способов фальсификации моделей, и именно их работа вдохновила меня на изучение атак с использованием абляции и создание этой демонстрации. Если вас интересует безопасность ИИ, обязательно подпишитесь на их исследовательскую страницу.

Свяжитесь со мной:

LinkedIn:   / bluhmadam  
Это видео посвящено исследованиям и образованию в области безопасности ИИ. Понимание этих уязвимостей имеет важное значение для создания более эффективной защиты. Все представленные модели являются моделями с открытым весом, запущенными локально.

#AISafety #LLM #MachineLearning #Ablation #AIAlignment #RedTeaming #Cybersecurity #HiddenLayer #ModelSecurity