Создание системы захвата движения голливудского уровня с нуля

Описание: В этом масштабном инженерном проекте, выполненном своими руками, я с нуля создал профессиональную систему оптического захвата движений (mocap), используя 16 специально разработанных камер и вычислительные модули Raspberry Pi. Благодаря разработке печатных плат, синхронизации инфракрасных светодиодных стробоскопов мощностью 2,5 кВт и написанию высокоскоростного программного обеспечения для компьютерного зрения, эта система обрабатывает более 4 миллиардов пикселей в секунду. Посмотрите, как мы достигаем точности 3D-отслеживания с точностью до долей миллиметра, используя менее 1/10 стоимости оборудования голливудских студий для анимации 3D-персонажей и VTuber-ов.

Благодарим NextPCB за спонсорство этого проекта. Воплотите свои идеи в области электроники в жизнь, перейдя по этой ссылке:
https://www.nextpcb.com/?code=MadeByD...

И получите купон на 500 долларов на ваш первый заказ печатных плат Rev 0:
https://www.nextpcb.com/rev0-pcba

Файлы с открытым исходным кодом:
3D-файлы: https://www.printables.com/model/1745863
Документация / Печатные платы / Код: https://github.com/dennisss/dacha/blo...

Хотите купить камеру? https://forms.gle/kGWyutEj3ao1y2u86

Ссылки:
Защитные очки, которые я использую (NoIR YG3 #52): https://www.noirinsight.com/yg3
Фоновая музыка: "DASHI - Sobayu"
Высокоточный GPS для улицы: https://en.wikipedia.org/wiki/Real-ti...
Видео светового шоу дрона:    • [4K 드론시점] 마지막 케데헌 드론쇼 앵콜 공연 @NetflixKoreaK...  
Видео VR FluxPose:    • FLUXPOSE: The Most Exciting New VR Hardwar...  
Захват движений на основе ИИ: https://github.com/zju3dv/EasyMocap
Видео захвата движений Street Fighter:    • Street Fighter 6 - Alex Motion Capture - B...  
Видео Sony Project Ace Robotics:    • Project Ace  
Профессиональная камера начального уровня: https://optitrack.com/cameras/primex-...
Справочная информация о фильтре Байера: https://en.wikipedia.org/wiki/Bayer_f...
Мой PnP-машина (для установки компонентов): https://www.opulo.io/products/lumenpnp
Держатели печатных плат и щупы осциллографа, которые я использую: https://sensepeek.com/pcbite-kits
Самая дешевая плата Raspberry Pi: https://www.digikey.com/en/products/d...
Используемый нами датчик камеры (AR0234): https://www.onsemi.com/products/senso...
Используемый мной инжектор PoE: https://www.amazon.com/dp/B0D41XBXJ4
Протокол синхронизации времени (PTP): https://en.wikipedia.org/wiki/Precisi...
Распиновка 22-контактного разъема камеры Raspberry Pi (мы используем GPIO1): https://www.raspberrypi.com/documenta...
Спецификация ограничений мощности PoE: https://en.wikipedia.org/wiki/Power_o...
Используемые нами ИК-светодиоды: https://look.ams-osram.com/m/59706141...
Коэффициент излучения (для конструкции радиатора): https://en.wikipedia.org/wiki/Emissivity

Разделы:
0:00 Введение
0:47 Общая информация
4:46 Ретроотражение
5:59 Датчик камеры
14:21 Вычислительная плата
18:02 Достижение точности
22:16 Слишком много ИК-излучения
26:15 Охлаждение
28:50 Сборка камеры
30:49 Обработка изображений
36:15 Заключение

Исправления:
7:04 Я вырезал часть видео о фильтрах Байера из-за неточностей, чтобы никого не запутать. Краткое содержание: Фильтры R/G/B перед датчиком обычно уменьшают интенсивность ИК-излучения примерно на 5%, хотя ИК-фильтр в объективе более важен для предотвращения проблем.