Как мы можем конвертировать любое видео в 3D

Описание: Видео — это окна в другой мир. Но современные видео *плоские*, ограниченные исходными точками обзора. Мы демонстрируем метод преобразования любых 2D-видео в 3D, позволяющий осуществлять синтез свободного вида.

Быстрый синтез вида из обычных видео
Яо-Чи Ли, Чжоутун Чжан, Кевин Блэкберн-Матцен, Саймон Никлаус, Цзяньмин Чжан, Цзя-Бинь Хуан и Фэн Лю
Европейская конференция по компьютерному зрению, 2024

📝 Доклад: https://arxiv.org/abs/2312.02135
🌐 Сайт: https://casual-fvs.github.io/

Аннотация: Синтез нового вида из видео, снятого в естественных условиях, затруднен из-за таких проблем, как динамика сцены и отсутствие параллакса. Хотя существующие методы показали многообещающие результаты с использованием неявных нейронных полей излучения, они медленно обучаются и рендерятся. В данной статье мы пересматриваем явные видеопредставления для эффективного синтеза высококачественных новых видов из монокулярного видео. Мы рассматриваем статический и динамический видеоконтент отдельно. В частности, мы строим глобальную статическую модель сцены, используя расширенное плоскостное представление сцены, для синтеза временно когерентного нового видео. Наше плоскостное представление сцены дополняется сферическими гармониками и картами смещения для захвата эффектов, зависящих от вида, и моделирования сложной неплоской геометрии поверхности. Для повышения эффективности мы решили представлять динамический контент в виде покадровых облаков точек. Хотя такие представления подвержены несоответствиям, незначительные временные несоответствия воспринимаются маскируемыми движением. Мы разрабатываем метод быстрой оценки такого гибридного видеопредставления и визуализации новых видов в реальном времени. Наши эксперименты показывают, что наш метод позволяет визуализировать высококачественные новые виды из видео, снятого в реальных условиях, с качеством, сопоставимым с современными методами, при этом обучение происходит в 100 раз быстрее, и обеспечивается рендеринг в реальном времени.

Текст: Доступно в подзаголовке.

Кредит: Значок «против» взят из PNGtree.