ByteDance показала Lucida: видео превращается в редактируемую 3D-сцену

🤖 ByteDance показала Lucida: видео превращается в редактируемую 3D-сцену

ByteDance Seed с Пекинским и Чжэцзянским университетами представили Lucida (arXiv:2608.30821): по видео или набору кадров она восстанавливает помещение как набор отдельных редактируемых 3D-объектов, а не единую статичную модель. В этапе Place VLM в цикле render → edit → re-render двигает объекты в 3D-редакторе, пока сцена не совпадёт с кадрами.

🌍 По замерам авторов, сценовый F-Score на R2S-Scene вырос с 0,794 у SAM 3D до 0,924, а точность поз объектов на CA-1M — с 57,8% у RecGen до 83,4%. Цель — симуляционно-готовые отдельные mesh-ассеты для робототехники и digital twins; подтверждено это пока собственными тестами команды.

👤 Демо на PlayCanvas уже открыто: можно покрутить восстановленную из реальной съёмки квартиру. Открытого кода, API и публичного доступа пока нет.

Источник 1: https://lucida-r2s.github.io/ Источник 2: https://arxiv.org/abs/2608.30821