Представлен ProxyPose — инновационный фреймворк для высокоточного 6-DoF трекинга поз по монокулярному видео, использующий возможности генеративного ИИ для решения задач в сложных визуальных условиях.
Что произошло
Разработан метод ProxyPose, который объединяет генеративную трансформацию видео-в-видео на базе LoRA для модели Wan2.1-T2V-14B с классической геометрией (PnP и контурное сопоставление). Система создает «прокси-видео» с синтетическим объектом, имитирующим движение выбранного пикселя, что позволяет извлекать точную 3D-траекторию движения. Метод продемонстрировал SOTA-результаты на датасетах HO3D и YCBInEOAT, успешно справляясь с отражениями, прозрачными объектами и перекрытиями.
Контекст
Традиционные методы компьютерного зрения, такие как COLMAP, часто сталкиваются с трудностями при работе с объектами, имеющими сложные текстуры, слабую освещенность или зеркальные поверхности. ProxyPose решает эту проблему, используя генеративную модель для создания визуального контекста, который 'достраивает' недостающие детали для последующего математического анализа.
Почему это важно для индустрии
ProxyPose предлагает новый гибридный подход, объединяющий генеративный ИИ и классическую компьютерную геометрию. Это открывает возможности для создания более стабильных систем AR/VR и робототехнического зрения, позволяя интегрировать высокоточный трекинг в существующие пайплайны видеоаналитики без использования специализированных сенсоров.
Почему это важно для пользователей
Для конечных пользователей и разработчиков приложений это означает возможность получать точную 3D-траекторию движения объекта, просто выбрав точку на обычном видео. Это значительно упрощает задачи motion capture и AR, избавляя от необходимости использования дорогостоящего оборудования для захвата движений.
Что пока неизвестно / ограничения
Существует значительный вычислительный барьер: использование тяжелой видеомодели Wan2.1-T2V-14B делает использование метода в режиме реального времени на текущий момент затруднительным без дополнительной оптимизации или дистилляции моделей.
Источники
Автор
Look at AI, редакция