Soundbubble: Виртуальный микрофон, управляемый пальцами, с использованием формирования луча через...

Описание: Руки — это главный орган, с помощью которого мы взаимодействуем с окружающим миром,
издавая при этом звуки. Таким образом, они являются богатым
источником информации, которую компьютеры могут использовать для ввода данных и
определения контекста. Действительно, многие предыдущие работы в области взаимодействия человека с компьютером исследовали
эту идею, оснащая руки пользователей микрофонами, часто
встроенными в кольцо, браслет или часы. В этой работе мы исследуем
альтернативный подход с использованием голых рук — с помощью массива микрофонов,
встроенного в гарнитуру/очки пользователя, мы можем использовать формирование луча,
чтобы создать виртуальный микрофон, который отслеживает движения пальцев пользователя в
3D-пространстве. Мы показываем, что этот метод может улавливать даже едва уловимый шум от
движения пальца по поверхностям, включая контакт кожа к коже,
для микрожестов, а также пассивные взаимодействия с виджетами.

Страница проекта: https://daehwakim.com/soundbubble
Статья: https://daehwakim.com/paper/SoundBubb...
Код: https://github.com/FIGLAB/SoundBubble