Жюльен Зуэйн — Восстановление 3D из сжатого видео: конвейер SfM на основе AV1

Описание: Мы представляем конвейер обработки данных Structure from Motion на основе AV1, использующий метаданные AV1-потоков для генерации соответствий для 3D-реконструкции.

Процесс создания 3D-моделей из 2D-изображений, известный как Structure from Motion (SfM), традиционно основан на поиске и сопоставлении отличительных признаков (ключевых точек) на нескольких изображениях. Этот процесс извлечения и сопоставления признаков является вычислительно сложным, требующим значительной вычислительной мощности и времени.

На самом деле мы можем обойти этот дорогостоящий этап, используя мощные векторы движения AV1-кодированных видео. Мы представляем анализ качества векторов движения, извлеченных из AV1-кодированных видеопотоков.

В заключение мы представляем наш полный конвейер обработки данных Structure from Motion на основе AV1, повторно использующий векторы движения из AV1-потоков для генерации соответствий для 3D-реконструкции, обеспечивая плотные межкадровые сопоставления с практически нулевыми дополнительными затратами. Наш метод сокращает время обработки на этапе фронтенда в среднем на 42% и позволяет получить до 8 раз больше 3D-точек со средней ошибкой репроекции 0,5 пикселя, что делает сопоставление в сжатом домене практичным способом ускорения SfM в условиях ограниченных ресурсов или в режиме реального времени.

Этот доклад был представлен на конференции Demuxed 2025 в Лондоне, конференции для инженеров, работающих в области видео. Каждый год мы проводим конференцию с множеством замечательных новых докладов, подобных этому — узнайте больше на https://demuxed.com