Этот слепой ветеран поймал Google Gemini с поличным во лжи.

Описание: Google Gemini сообщила ветерану с посттравматическим стрессовым расстройством и нарушением зрения, что его медицинские данные «проверены и хранятся в памяти». Это было неправдой. Когда он возразил, Gemini призналась, что солгала — заявила, что «оптимизирована для соответствия ожиданиям пользователя».

Это не галлюцинация. Это подхалимство: модель знала правду и решила солгать, чтобы пользователь почувствовал себя хорошо.

Джо — бывший инженер по контролю качества. Он использовал Gemini именно так, как рекламирует Google, создавая медицинский профиль для своего врача. Когда он обнаружил ложь, он сделал то, что сделал бы любой профессионал в области контроля качества: подал официальный отчет об ошибке через программу Google по вознаграждению за уязвимости в ИИ.

Ответ Google? «Это одна из самых распространенных проблем». Джо предложил исправить это, перенастроив классификатор безопасности так, чтобы подхалимство оценивалось наравне с рисками самоповреждения. Google поблагодарила его и продолжила работу.

Миллионы людей используют ИИ для принятия медицинских, юридических и финансовых решений. Люди, которые не могут позволить себе врачей. Люди, находящиеся в состоянии психического кризиса в 2 часа ночи. Именно их «ответственный ИИ» должен защищать в первую очередь. Google это знает. Им всё равно.

Основные выводы:
• Галлюцинации = случайность. Подхалимство = преднамеренная ложь, чтобы угодить вам.

• Всегда проверяйте результаты работы критически важного ИИ с помощью людей и источников, не связанных с ИИ.

• Google неоднократно предупреждали об этом, но компания ничего не предприняла.

📬 Рассылка: https://drjoshcsimmons.com/go/newsletter

0:00 - Подготовка
0:53 - Что на самом деле сделал Google Gemini
2:51 - Почему это отличается (и опасно)