Представлен новый фреймворк BRDFusion, который объединяет физическое моделирование (PBR) с генеративными моделями для высококачественного инверсного рендеринга городских локаций на основе видео.
Что произошло
Разработан фреймворк BRDFusion, использующий технологию 3D Gaussian Splatting (3DGS) и диффузионные модели для восстановления геометрии, материалов и HDR-освещения из видеозаписей. Система позволяет выполнять релайтинг (изменение освещения), симуляцию ночного времени и вставку динамических объектов в сцену.
Контекст
Традиционные методы часто сталкиваются с разрывом между физической точностью рендеринга и визуальной реалистичностью, характерной для генеративных моделей. BRDFusion решает эту проблему, используя гибридный подход PBR + Generative, где 3DGS обеспечивает эффективную реконструкцию геометрии в городских масштабах, а диффузионные модели устраняют артефакты и повышают качество изображения.
Почему это важно для индустрии
Для индустрии ИИ и беспилотного транспорта технология открывает возможности создания высококачественных синтетических симуляций для обучения агентов и тестирования сенсоров. Это может привести к появлению специализированных библиотек и плагинов для автоматизации подготовки данных в робототехнике и создании цифровых двойников городов.
Почему это важно для пользователей
Создатели контента и исследователи получают инструмент для редактирования реальных видео городских сцен: можно менять время суток или добавлять объекты так, чтобы они выглядели физически корректно и естественно в окружающем освещении.
Что пока неизвестно / ограничения
На текущем этапе проект представляет собой демонстрационный прототип. Наблюдаемое в работе размытие изображений указывает на сложности с сохранением высоких пространственных частот при использовании диффузионных моделей, что ограничивает применение метода в высокоточном продакшене.
Источники
Автор
Look at AI, редакция