ProxyPose: новый метод 6-DoF трекинга по видео

🤖 ProxyPose: новый метод 6-DoF трекинга по видео

Разработан фреймворк ProxyPose, который использует LoRA-адаптацию модели Wan2.1-T2V-14B для создания «прокси-видео». Это позволяет извлекать точную 3D-траекторию движения объекта с помощью классической геометрии, даже если исходное видео имеет сложные текстуры или блики.

🌍 Это объединяет генеративный ИИ и компьютерное зрение, позволяя обходить ограничения традиционных методов вроде COLMAP при работе с отражениями и прозрачными поверхностями. Это крайне важно для развития AR/VR и робототехники.

👤 Пользователи могут получать точную 3D-траекторию движения, просто указав точку на обычном видео, что избавляет от необходимости использовать дорогостоящие сенсоры.

Источник 1: https://ruihangzhang97.github.io/proxypose/ Источник 2: https://github.com/ruihangzhang97/proxypose