Почему Meta удалила пост премьер-министра Моди | Разбор архитектуры Facebook

Описание: Meta ненадолго удалила публикацию из аккаунта премьер-министра Индии Нарендры Моди в Facebook, а затем восстановила её, заявив, что контент был удалён по ошибке.

Это поднимает более важный вопрос: что на самом деле происходит внутри автоматизированной системы фильтрации контента Meta, прежде чем публикация будет разрешена, ограничена, проверена или удалена?

В этом видео мы рассмотрим вероятную структуру системы модерации Facebook. Публикация может анализироваться с помощью оптического распознавания символов (OCR), преобразования речи в текст, выборки видеокадров, распознавания изображений, ссылок, сигналов учетной записи и специализированных классификаторов безопасности. Затем эти сигналы проходят через правила политики, пороговые значения достоверности и службы принудительного исполнения, которые решают, должен ли контент оставаться в сети, получить предупреждение, потерять распространение, быть отправлен на проверку человеком или быть удалён.

Мы также рассмотрим, что на самом деле может означать расплывчатая фраза вроде «сбой в фильтре контента». Сбой может быть вызван моделью ИИ, но также может быть следствием неправильной транскрипции, отсутствия контекста, неправильной конфигурации политики, некорректного развертывания, ошибки регионального ограничения или неправильного действия со стороны нижестоящей службы.


Это не просто проблема ИИ. Это масштабная проблема распределенных систем, включающая машинное обучение, механизмы управления политиками, мониторинг, журналы аудита, проверку человеком и апелляции.

Meta не опубликовала точный внутренний компонент, ответственный за это конкретное удаление. Архитектура, показанная в видео, представляет собой техническую реконструкцию, основанную на публично описанных системах модерации и устоявшихся шаблонах проектирования систем.

Разделы

00:00 Meta удаляет пост Моди
00:42 Что такое автоматизированный фильтр на самом деле
01:28 Проектирование конвейера модерации
03:32 Мультимодальный ИИ и классификаторы
04:39 Механизмы управления политиками и пороговые значения
05:47 Где может произойти сбой
07:01 Апелляции и журналы аудита
08:14 Безопасное развертывание модели
09:19 Ложные срабатывания против вредоносного контента
10:11 Настоящий урок проектирования системы

#Meta #Facebook #SystemDesign #AI ​​#ContentModeration