Представлен RiGS (Rigid-aware 4D Gaussian Splatting) — технология, позволяющая создавать высококачественные динамические 3D-сцены из обычного монокулярного видео. Метод эффективно разделяет сцену на статические, жесткие и деформируемые элементы, обеспечивая новый уровень точности реконструкции.
Что произошло
Разработан метод RiGS, который использует трехкомпонентное разделение гауссиан на статические, жесткие (rigid) для плавных движений объектов и транзиентные (transient) для сложных деформаций. Для обработки видео требуется мощный графический процессор, например уровня NVIDIA A100 или RTX 4090, а время рендеринга составляет около 30 минут.
Контекст
Технология базируется на модификации VIPE для данных глубины и использует плотную супервизию 3D-сцена-флоу (scene flow). Это позволяет достичь SOTA-результатов в задачах синтеза новых видов (novel view synthesis), преодолевая сложности при разделении долгосрочного жесткого движения и краткосрочных деформаций.
Почему это важно для индустрии
RiGS решает фундаментальную проблему разделения компонентов сцены при реконструкции из одного источника. Это открывает путь к созданию более совершенных инструментов 4D Gaussian Splatting и позволяет переходить от дорогих многокамерных систем к более доступным монокулярным методам в пайплайнах визуализации.
Почему это важно для пользователей
Теперь пользователям доступно создание высококачественного 4D-контента и динамических 3D-сцен на основе обычного видео, снятого на смартфон. Это значительно упрощает процесс создания визуального контента, не требуя использования сложного специализированного оборудования.
Что пока неизвестно / ограничения
Высокая вычислительная сложность и требования к мощному GPU делают метод на текущем этапе скорее исследовательским инструментом, чем готовым решением для массового production.
Источники
Автор
Look at AI, редакция