Обработка речи и звука в неинвазивных интерфейсах «мозг-компьютер» в компании Meta [Майкл Мандель]

Описание: Аннотация:
Неинвазивные нейронные интерфейсы потенциально могут трансформировать взаимодействие человека с компьютером, предоставляя пользователям легкодоступные, насыщенные информацией и всегда готовые к использованию входные данные. Лаборатория Reality Labs в Meta разрабатывает такой интерфейс для управления устройствами дополненной реальности на основе электромиографических (ЭМГ) сигналов, регистрируемых на запястье. Речевые и аудиотехнологии оказались особенно подходящими для раскрытия всего потенциала этих сигналов и взаимодействий, и в этом докладе будут представлены несколько конкретных проблем и подходы к речевым и аудиотехнологиям, которые приблизили нас к этой конечной цели — созданию простых и приятных интерфейсов. Мы предоставим необходимую нейробиологическую информацию для понимания этих сигналов, опишем интерфейсы, созданные на основе автоматического распознавания речи и генерирующие текст, а также интерфейсы, созданные на основе формирования луча, для идентификации отдельных нейронов, а затем объясним, как они связаны с задачами эгоцентрического машинного интеллекта, которые могут выполняться на этих устройствах.

Биография:
Майкл И. Мандель — научный сотрудник лаборатории Reality Labs в Meta. Ранее он был доцентом кафедры компьютерных и информационных наук в Бруклинском колледже и аспирантуре Городского университета Нью-Йорка, работая на стыке машинного обучения, обработки сигналов и психоакустики. Он получил степень бакалавра компьютерных наук в Массачусетском технологическом институте, а также степень магистра и доктора философии с отличием в области электротехники в Колумбийском университете в качестве стипендиата президентской программы Фонда Фу. Он был постдокторантом-исследователем FQRNT в лаборатории машинного обучения (LISA/MILA) в Монреальском университете, разработчиком алгоритмов в Audience Inc. и научным сотрудником в области компьютерных наук и инженерии в Университете штата Огайо. Его работа получила поддержку Национального научного фонда, в том числе в рамках гранта CAREER, Фонда Альфреда П. Слоана и Google, Inc.