Безопасность ИИ: факты и вымысел | YC Paper Club

Описание: В этом выпуске Paper Club речь пойдёт о безопасности ИИ — не о заголовках, а о науке. Безопасность ИИ — это область исследований, изучаемая десятилетиями, со своими конференциями, методами и опытом работы в таких системах, как системы предотвращения столкновений самолётов, где стандартом считается одна катастрофическая поломка на миллиард летных часов.

В этом эпизоде ​​мы услышим Кларка Барретта и Майкела Кохендерфера, профессоров Стэнфорда и содиректоров Стэнфордского центра безопасности ИИ. Вместе с Франсуа они обсудят, что на самом деле произошло в инциденте с OpenAI и Hugging Face, в отличие от того, что было сообщено, как автоматизированное рассуждение может математически доказать невозможность взлома кода, как методы стресс-тестирования, разработанные для проверки самолётов, теперь применяются к языковым моделям, и почему нам может понадобиться NTSB для ИИ.

Присоединяйтесь к нам на следующем заседании Paper Club 21 октября, где мы поговорим об инференции: https://events.ycombinator.com/yc-pap...

Главы:
00:00 - Научная фантастика против научных фактов
04:32 - Инженерная проблема, или P(doom)
06:04 - Что на самом деле произошло в Hugging Face
07:53 - Откуда взялась фраза "10% за 10 лет"
11:21 - Реальный риск: открытые гири в неправильных руках
17:25 - Кларк Барретт: когда ИИ встретился с автоматизированным рассуждением
20:35 - CSLib: доказательство корректности кода в Lean
24:32 - От английской спецификации к проверенному коду в один клик
27:55 - Майкел Кохендерфер: как мы узнаем, что система безопасна
32:11 - Адаптивное стресс-тестирование, от самолетов до LLM
36:57 - Верификация нейронных сетей
40:30 - Мониторинг в реальном времени и BetterBench
43:53 - Панельная дискуссия: реакция на последние три недели
45:55 - NTSB для ИИ
52:18 - Решаема ли проблема кибербезопасности за пять лет
55:00 - Если бы вы были CISO Bank of America
1:03:06 - Модель швейцарского сыра
1:05:43 - Вопросы и ответы аудитории

Подать заявку в Y Combinator: https://www.ycombinator.com/apply
Работать в стартапе: https://www.ycombinator.com/jobs