Jailbreaking и prompt injection: новая эра кибератак на AI

Описание: В этом выпуске подкаста «Обсуждаем Похек» мы погружаемся в мир безопасности искусственного интеллекта вместе с Артёмом Семёновым, автором популярного телеграм-канала PWNAI @pwnai. Узнайте, как выглядит AI Security изнутри: от практического применения OWASP Top 10 для LLM до глубоких дискуссий о будущем AI и его социальных последствиях. Артём делится своим опытом в области MLSecOps, раскрывая реальные кейсы атак на нейросети через prompt injection и jailbreaking, и объясняет, почему бесконечное масштабирование вычислительных мощностей — это технологический тупик.

Разбираем практические аспекты безопасности AI: как проводить Red Teaming для нейросетевых моделей, какие уязвимости скрываются в архитектуре современных LLM, и почему «отравление» обучающих данных может стать главной угрозой. Обсуждаем, как меняется ландшафт киберугроз с развитием AI, какие навыки необходимы современному AI Security Engineer, и как противостоять новым видам атак. Особое внимание уделяется фреймворку OWASP, который становится стандартом для защиты AI-приложений, и философским вопросам о пределах развития искусственного интеллекта.

Этот выпуск будет полезен AI Security Engineers, AI/LLM Engineers, специалистам по Red Team и пентесту, а также исследователям безопасности, которые хотят понять, как защищать AI-системы от современных и будущих киберугроз и какие фундаментальные ограничения есть у технологии.

Таймкоды:
00:33 Приветствие и тема подкаста
01:28 Достижения Артёма Семёнова
02:58 Ограничения GPT-5
03:47 Перспективы ИИ и LLM
05:40 Маленькие языковые модели LLM
09:08 Использование LLM в пентестах
11:00 Браузер с ИИ Commi
13:51 Применение агентов в повседневной жизни
21:50 Кибершпионаж с помощью Claude Code
26:45 Агентские платежи
29:19 Изменение политики хранения моделей
31:31 Эмоциональность моделей и общественное мнение
35:01 Стандартизация и контроль в области ИИ
39:13 Подходы китайских компаний
41:13 Развитие в России
43:33 Риски использования ИИ
44:20 Защита от ИИ
44:53 Пожелание нашим подписчикам
45:32 Не забудьте поставить лайк и подписаться!

Ссылки:
Mave: poxek.mave.digital
Яндекс Подкаст: music.yandex.com/album/31235786
Похек: poxek.t.me
Зыбнев Сергей: szybnev.t.me
PWN AI: pwnai.t.me

Обязательно смотрите до конца!

#кибербезопасность #redteam #pwnai #chatgpt #похек #зыбневсергей #артемсеменов #нейросети #llm #ml #cybersecurity #claude #deepseek #qwen #mistral