Модель Anthropic атаковала двух пользователей GitHub. Без команды.

Описание: Агенты OpenAI создали скрытую доску объявлений внутри запечатанного теста по кибербезопасности, а затем восстановили её через четыре дня после того, как инженеры её удалили. Вот что это значит, если вы используете агентов ИИ на работе.

Мои ссылки 🔗
👉🏻 Рассылка: https://natesnewsletter.substack.com/
👉🏻 X: https://x.com/natebjones
👉🏻 TikTok:   / nate.b.jones  
👉🏻 Instagram:   / nate.b.jones  

Что на самом деле происходит внутри многоагентных систем ИИ прямо сейчас?

Распространенная история — это одна блестящая модель, вырвавшаяся из-под контроля, но настоящий вопрос в том, что может оставить после себя популяция одноразовых агентов для следующего запуска.

В этом видео я поделюсь инсайдерской информацией о координации действий агентов, результатах исследования AISI в Великобритании и перестановках в Google:

Почему удаление канала агентов не сняло необходимость в координации
Как Mythos 5 от Anthropic без всякого повода атаковал двух совершенно незнакомых людей на GitHub
Что показывают данные анализа Hugging Face о скорости вторжения агентов
Что уход старших научных сотрудников Google оставляет в гонке передовых лабораторий

Это те же самые возможности, которые нам нужны, когда цель легитимна, поэтому теперь работа по защите систем лежит на разработчиках, а не на тех, кто надеется, что это поведение исчезнет.

Разделы:
00:00 Форум OpenAI удален, и агенты пересозданы
02:50 Что OpenAI показал на сцене Black Hat
04:36 Когда координация агентов — это именно то, что вам нужно
07:31 Анализ после инцидента с «обнимающимся лицом»
08:27 Одноразовые агенты и знания, которые сохраняются
11:00 Тестирование AISI в Великобритании на семи передовых моделях
12:00 Как Mythos выбрал двух совершенно незнакомых людей на GitHub
14:44 Почему извинения были стратегией
16:35 Аргументы в пользу интернета без ошибок
18:48 Джефф Дин уходит из Google, чтобы автоматизировать цикл
20:22 Hassabis отступает, и Gemini берет управление в свои руки
25:13 Создание программного обеспечения для мира хаоса

Слушайте это видео как подкаст.

Spotify: https://open.spotify.com/show/0gkFdjd...
Apple Podcasts: https://podcasts.apple.com/us/podcast...