Отслеживание рук и управление жестами с помощью Raspberry Pi + OpenCV + Python

Описание: Полная статья — https://core-electronics.com.au/tutor...
Определите и отследите каждый сустав пальцев ваших рук в режиме реального времени. Затем используйте ваши руки для управления программным обеспечением мультимедиа и оборудованием, подключенным к портам GPIO. Всё это через одноплатный компьютер Raspberry Pi.

Обязательно используйте предыдущую версию ОС Raspberry Pi «Buster» с этим руководством.

Дополнительная информация
Прошивка ОС Buster на Raspberry Pi — https://core-electronics.com.au/tutor...
Настройка Raspberry Pi в качестве настольного компьютера — https://core-electronics.com.au/tutor...
Руководство по GlowBit Matrix 4x4 — https://core-electronics.com.au/tutor...
Отслеживание лица с помощью Pan-Tilt Hat — https://core-electronics.com.au/tutor...
Распознавание лиц на Raspberry Pi — https://core-electronics.com.au/tutor...
Скорость с Raspberry Pi - https://core-electronics.com.au/tutor...
Распознавание объектов и животных с помощью Raspberry Pi - https://core-electronics.com.au/tutor...
Как управлять Raspberry Pi с помощью телефона - https://core-electronics.com.au/tutor...
Мастер-класс по Python для начинающих - https://core-electronics.com.au/tutor...
BuzzBox (о чём было видео на VLC) - https://core-electronics.com.au/proje...

Машинное и глубокое обучение ещё никогда не были так доступны, как показано в этом видео. Камеры в сочетании с машинным обучением создают самый мощный датчик, который когда-либо можно было установить на одноплатный компьютер Raspberry Pi. Сегодня мы поговорим о распознавании рук и пальцев в режиме реального времени с помощью компьютерного зрения, а всю сложную работу выполнит наш одноплатный компьютер Raspberry Pi. Созданная здесь система будет использовать Open-CV, в частности, CVzone. Это мощный пакет, помогающий решать задачи компьютерного зрения и обработки изображений в режиме реального времени. Эта система также будет использовать MediaPipe для распознавания рук в режиме реального времени, который будет запускать делегат TensorFlow Lite во время работы скрипта для аппаратного ускорения (в этом руководстве есть всё необходимое!). Ознакомьтесь с полным руководством, чтобы узнать, как правильно установить эти скрипты и скачать их. Существуют и другие технологии распознавания жестов, совместимые с Raspberry Pi 4 Model B. Например, вы также можете идентифицировать руки или жесты с помощью Pytorch, каскадов Хаара или пакетов YOLO/YOLOv2, но набор данных и система MediaPipe, используемые в этом руководстве, намного лучше. Первый запущенный скрипт идентифицирует все руки, видимые перед ним, с помощью компьютерного зрения, а затем, используя машинное обучение, отрисовывает каркас руки поверх всех идентифицированных рук. Второй скрипт выведет в оболочку информацию об общем количестве пальцев (как поднятых, так и опущенных) и подробную информацию о каждом пальце (поднятом или опущенном). Третий и четвертый скрипты посвящены управлению оборудованием и программным обеспечением с помощью рук. Первый использует матрицу GlowBit 4x4. Количество показываемых пальцев будет определять разные цвета на матрице. Последний скрипт позволяет управлять медиаплеером VLC (воспроизведение, пауза, регулировка громкости) с помощью кончиков пальцев. Управление громкостью жестами – успех! Все скрипты имеют полностью открытый исходный код и легко расширяются, позволяя вашим проектам развиваться.

Если у вас есть вопросы по этому контенту или вы хотите поделиться проектом, над которым работаете, посетите наш форум для создателей. Мы – постоянные создатели и готовы помочь – http://coreelec.io/forum

Компания Core Electronics расположена в самом сердце Ньюкасла, Австралия. Мы работаем на создателей для создателей. Загляните к нам, если ищете:

Raspberry Pi 4 Model B 4 ГБ (использовался здесь): https://core-electronics.com.au/catal...

Высококачественная камера Raspberry Pi (использовался здесь): https://core-electronics.com.au/catal...

Широкоугольный объектив для камеры Raspberry Pi 6 мм: https://core-electronics.com.au/catal...

Официальный модуль камеры Raspberry Pi V2: https://core-electronics.com.au/catal...

Блок питания для Raspberry Pi 4: https://core-electronics.com.au/catal...

0:00 Вступление
0:13 Видео Обзор
0:36 Что вам нужно
1:40 Скачать скрипты
2:03 Простой скрипт отслеживания руки
2:25 Первый выигрыш
2:40 Отслеживание нескольких рук
3:18 Данные X-Y одной точки на руке
3:48 Скрипт «Пальцы вверх или вниз»
4:29 Второй выигрыш
5:16 Функция преобразования текста в речь
5:43 Скрипт управления GPIO-матрицей GlowBit
6:10 Тре...