Исследователи из Сеульского национального университета представили StudioRecon — инновационный пайплайн для 4D-реконструкции человеческих сцен, способный работать в условиях ограниченного количества камер и малого перекрытия их ракурсов.
Что произошло
Разработан метод StudioRecon, который позволяет восстанавливать динамические 3D-сцены с движущимися людьми, используя всего четыре камеры. Технология разделяет сцену на фон и людей, применяя видеодиффузионную модель для синтеза сотен новых ракурсов фона и модель SMPL для точной фиксации геометрии человеческого тела. Для коррекции визуальных артефактов в зонах с плохой видимостью используется рекурсивный модуль с адаптивной временной согласованностью.
Контекст
Традиционные системы захвата движений (Motion Capture) требуют использования массивных и дорогостоящих комплексов камер для достижения высокого качества рендеринга. StudioRecon предлагает гибридный подход, сочетающий генеративные модели для статических элементов и параметрические модели для динамических объектов, что позволяет значительно снизить требования к оборудованию.
Почему это важно для индустрии
Для индустрии это означает возможность достижения эффекта bullet-time и высококачественного 4D-рендеринга при использовании доступных multi-camera setup-ов вместо профессиональных MoCap-студий. Это открывает путь к созданию сложного контента с минимальными капитальными затратами на инфраструктуру захвата данных.
Почему это важно для пользователей
Создатели контента и видеографы смогут генерировать кинематографичные 3D-сцены, просто используя несколько обычных камер. Технология также дает возможность реализовывать замену актеров на новых персонажей, сохраняя при этом естественность и правдоподобность окружающего окружения.
Что пока неизвестно / ограничения
На данный момент проект остается исследовательским прототипом: отсутствуют опубликованный программный код, веса моделей и подробные данные о производительности системы, что затрудняет её немедленное внедрение в производство.
Источники
Автор
Look at AI, редакция