Когда агенты учатся чувствовать: многомодальные аффективные вычисления в производстве // Чэнью Чжан

Описание: 3 марта, конференция по программированию агентов в Музее истории компьютеров. Присоединяйтесь к нам, пока еще есть билеты!

https://luma.com/codingagents

Спасибо @ProsusGroup за сотрудничество в организации виртуальной конференции Agents in Production 2025.

Аннотация //
Следующее поколение агентов ИИ будет не просто реагировать на то, что мы говорим, — они будут чувствовать наши эмоции. По мере того, как агенты, работающие на основе больших языковых моделей, переходят от исследовательских прототипов к производству, критически важным направлением становится интеграция многомодальных аффективных вычислений: объединение голоса, текста, мимики и моделей взаимодействия для определения эмоционального состояния обучающегося или пользователя в режиме реального времени. В этом докладе рассматриваются проблемы и возможности развертывания обучающих систем ИИ, учитывающих эмоции, в производственных средах. Опираясь на текущие исследования в лаборатории MIT Media Lab и Гарварде, а также на опыт создания стартапа GlowingStar, я расскажу о том, как мультимодальные сигналы — тон речи, микровыражения лица, задержка реакции и даже молчание — могут быть объединены в оценки аффективного состояния, что значительно улучшает пользовательский опыт. Мы рассмотрим технические уроки, извлеченные из переноса аффективного восприятия за пределы лаборатории: проектирование архитектур, которые объединяют ансамблевые LLM с входными данными от датчиков, диагностика конфликтов или взаимного саботажа между модальностями, а также установление мер защиты конфиденциальности и согласия в таких деликатных областях, как образование. Параллельно я расскажу о моделях оркестровки многоагентных систем — включая циклы «критик-переписыватель» и ансамбли на основе ролей — которые позволяют персонализировать обучение, генерировать справедливую обратную связь и поддерживать вовлеченность учащихся из разных групп. К концу этой сессии участники получат четкое представление о том, что необходимо для перехода от демонстрационных версий мультимодальных агентов, распознающих эмоции, к надежным производственным системам: архитектуры, подводные камни и важные метрики. Что еще важнее, мы рассмотрим, как эти уроки распространяются за пределы образования на любую отрасль, где агенты ИИ должны не только думать, но и чувствовать вместе с человеком и за него.

Биография //
Ченю Чжан — междисциплинарный инженер-программист, исследователь и предприниматель, работающий на стыке искусственного интеллекта, аффективных вычислений и образования. Он имеет степень магистра образования (проектирование обучения, инновации и технологии) Гарвардской высшей школы образования и степень бакалавра с отличием в области компьютерных наук, математики и статистики Университета Торонто.

Ченю проводил исследования в MIT Media Lab и Центре Беркмана Кляйна Гарвардского университета, сосредоточившись на аффективных вычислениях, мультимодальном распознавании эмоций и использовании ИИ для преодоления фрустрации в обучении. Его работы были опубликованы на SIGCSE и представлены на конференциях NeurIPS, AAAI, ACII и AERA.

Как основатель GlowingStar Inc., стартапа, связанного с MIT и Гарвардом, Ченю создает первого в мире ИИ-репетитора, учитывающего эмоции, призванного предоставить каждому учащемуся — от студентов из рабочего класса до тех, кто учится на протяжении всей жизни — персонализированного, чуткого помощника в обучении. Ранее он работал в Block, Manulife и ROSS Intelligence, возглавляя разработку полного стека и инициативы по обеспечению доступности. Он также преподавал в MIT, Стэнфорде и Университете Торонто, а также был наставником студентов в рамках программы AI4ALL Ignite.

Более широкая миссия Ченю — сделать образование мирового класса доступным для всех, сочетая технические инновации, исследования и коучинг. Он сертифицирован как коуч по методу Co-Active и коуч по методу Designing Your Life, и часто пишет и выступает на темы ИИ, этики и равенства в образовании.

A Prosus | MLOps Community Production