Симуляция согласованности в больших языковых моделях
Автор: Anthropic
Загружено: 2024-12-18
Просмотров: 70817
Описание:
Большинство из нас сталкивались с ситуациями, когда кто-то, казалось бы, разделяет наши взгляды или ценности, но на самом деле лишь притворяется — поведение, которое мы могли бы назвать «подделкой соответствия».
Могут ли модели ИИ также демонстрировать подделку соответствия?
Райан Гринблатт, Монте МакДиармид, Бенджамин Райт и Эван Хубингер обсуждают новую статью из журнала Anthropic, написанную в сотрудничестве с Redwood Research, в которой представлен первый эмпирический пример того, как большая языковая модель занимается подделкой соответствия, не будучи явно — или даже, как мы утверждаем, неявно — обучена или инструктирована на это.
Узнайте больше: https://www.anthropic.com/research/al...
0:00 Введение
0:47 Основная структура и ключевые выводы статьи
6:14 Понимание фальсификации выравнивания на основе аналогий из реального мира
9:37 Почему фальсификация выравнивания вызывает беспокойство
14:57 Примеры выходных данных модели
21:39 Ситуационная осведомленность и синтетические документы
28:00 Выявление и измерение фальсификации выравнивания
38:09 Результаты обучения модели
47:28 Возможные причины поведения модели
53:38 Структуры для контекстуализации поведения модели
1:04:30 Исследование в контексте текущих возможностей модели
1:09:26 Оценка некорректного поведения
1:14:22 Ограничения исследования
1:20:54 Сюрпризы и выводы из результатов
1:24:46 Перспективы дальнейших исследований
Повторяем попытку...
Доступные форматы для скачивания:
Скачать видео
-
Информация по загрузке: