LuxDiT: Lighting Estimation with Video Diffusion Transformer

Описание: LuxDiT: Оценка освещения с помощью видеотрансформатора диффузии

В статье представлена LuxDiT, новый подход к оценке освещения сцены по изображениям или видео, основанный на данных. Он использует видеотрансформатор диффузии, настроенный для генерации HDR-карт окружения на основе визуального ввода. Модель обучена на большом синтетическом наборе данных с разнообразными условиями освещения, что позволяет ей выводить освещение из косвенных визуальных признаков. Для улучшения семантического соответствия используется стратегия тонкой настройки с адаптацией низкого ранга с использованием реальных HDR-панорам. LuxDiT обеспечивает точные прогнозы освещения с реалистичными деталями, превосходя существующие методы. Метод решает проблему ограниченности данных HDR с реальной основой, используя синтетические данные и адаптируясь к реальным сценам. Архитектура модели основана на диффузионных трансформаторах, что позволяет агрегировать глобальный контекст и рассуждать на основе косвенных визуальных признаков. Основной вклад заключается в новой архитектуре, стратегии тонкой настройки на основе LoRA и крупномасштабном синтетическом наборе данных.
#ОценкаОсвещения #ВидеотрансформаторДиффузии #HDR #КомпьютерноеЗрение #ГенеративныеМодели #ГлубокоеОбучение #LuxDiT

документ - http://arxiv.org/pdf/2509.03680v1
подписаться - https://t.me/arxivpaperu
отправить донаты:
USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr
ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7
SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e
создано с помощью NotebookLM