USENIX Enigma 2021 — Практическое разделение между исследованиями в области машинного обучения с ...

Описание: Практический разрыв между исследованиями в области состязательного машинного обучения и практикой обеспечения безопасности: взгляд «красной команды»

Хайрум Андерсон, Microsoft

Исследователи в области состязательного машинного обучения (МО) — исследования безопасности МО в присутствии злоумышленника — за последние 6 лет опубликовали более 2300 научных работ. Однако, согласно недавнему опросу, почти 90% корпораций и государственных учреждений сообщили, что они не готовы защитить свои модели МО. Факт остается фактом: существуют значительные разрывы между академическими достижениями и потребностями и практикой отрасли. Во-первых, помимо полномасштабных продуктов безопасности, моделям МО уделяется мало внимания в плане безопасности. Во-вторых, большинство организаций, обеспокоенных безопасностью МО, не знают, с чего начать. В-третьих, инструменты и методы, разработанные в академических исследованиях, часто не соответствуют потребностям бизнеса.

Чтобы продемонстрировать эти разрывы, я рассмотрю некоторые отрезвляющие уроки, извлеченные во время работы «красной команды» по машинному обучению в Microsoft над системами, основанными на МО. К ним относится тот факт, что «традиционные» меры безопасности, такие как контроль доступа и разрешения, остаются наиболее важным элементом защиты систем машинного обучения. Кроме того, особенно за пределами приложений безопасности, осведомленность об уязвимостях машинного обучения остается низкой, а уровень безопасности практически равен нулю.

Полную программу Enigma 2021 можно посмотреть по ссылке: https://www.usenix.org/conference/eni...