Обзор 63 аспектов ответственного ИИ для профессионального инженера по машинному обучению в Google...

Описание: Цель встречи

Обзор концепций ответственного ИИ для экзамена GCP Machine Learning Associate.

Ключевые выводы

Предвзятость — критическая инженерная проблема

Конфликт метрик справедливости

Объяснимость укрепляет доверие и обеспечивает соответствие требованиям

Машинное обучение, сохраняющее конфиденциальность, защищает конфиденциальные данные

Ответственный ИИ: краткое изложение
Почему ответственный ИИ важен

Системы машинного обучения влияют на важные решения, такие как кредитование, найм и медицинское обслуживание. Предвзятость, непрозрачность или нарушения конфиденциальности могут нанести реальный вред обществу. Ответственный ИИ рассматривается как инженерное требование, а не как философская концепция.

Предвзятость: типы и обнаружение

Распространенные типы предвзятости

Историческая: Прошлая дискриминация, заложенная в данных.

Репрезентативная: Некоторые группы недостаточно представлены.

Измерительная: Прокси-признаки коррелируют с защищенными атрибутами.

Агрегационная: Одна модель игнорирует различия между подгруппами.

Обнаружение

Предварительное обучение: анализ распределения признаков и меток по демографическим группам.

После обучения: сравнение показателей производительности по подгруппам.

Пример: высокая общая точность, но более низкая точность в подгруппах сигнализирует о предвзятости.

Показатели справедливости

Демографическое равенство: равные показатели прогнозирования в разных группах.

Равные возможности: равные показатели истинно положительных результатов для квалифицированных лиц.

Выровненные шансы: равные показатели истинно положительных и ложноположительных результатов.

Справедливость для отдельных лиц: похожие лица получают схожие результаты.

Ключевой вывод: показатели часто противоречат друг другу; правильный показатель зависит от контекста (например, равные возможности при кредитовании, демографическое равенство при найме).

Стратегии смягчения предвзятости

Предварительная обработка

Передискретизация или перевзвешивание данных.

Компромисс: может снизить точность.

Внутрипроцессная обработка

Ограничения справедливости или устранение предвзятости в процессе обучения.

Постобработка

Корректировка пороговых значений или калибровка выходных данных.

Преимущество: Не требуется переобучение; идеально подходит для развернутых моделей.

Объясняемость

Сложные модели не обладают прозрачностью, но требуют обоснования.

Объясняемый ИИ Vertex: Атрибуция признаков для прогнозов.

Методы: Значения Шапли, интегрированные градиенты, XRAI.

Примеры применения: Соответствие требованиям, аудит, доверие пользователей.

Инструменты, не зависящие от модели: LIME и SHAP.

Модельное обучение с сохранением конфиденциальности

Дифференциальная конфиденциальность: Добавляет шум для предотвращения восстановления данных.

Федеративное обучение: Обучает модели без централизации данных.

Минимизация данных: Собирает и сохраняет только необходимые данные.

Модельные карты

Структурированная документация, охватывающая:

Предназначение

Данные и архитектура обучения

Ограничения и оценка справедливости

Этические риски

Используется для обеспечения прозрачности, соответствия требованиям и коммуникации с заинтересованными сторонами.

Тестирование и исправление ошибок

Тестирование: враждебные входные данные, стресс-тесты подгрупп, тестирование на «красную команду».

Исправление ошибок

Немедленное: откат или снижение трафика.

Краткосрочное: исправления после обработки.

Долгосрочное: улучшение данных, алгоритмов, функций и проверка человеком.

Мониторинг и управление

Предвзятость может возникнуть после развертывания.

Мониторинг производительности подгрупп и отклонения от принципов справедливости.

Настройка оповещений о пробелах в производительности.

Проведение регулярных аудитов.

Организационные практики
Ответственный ИИ требует управления:

Разнообразные команды

Советы по этической экспертизе

Взаимодействие с заинтересованными сторонами

Планы реагирования на инциденты