Представлен MAMMA (Markerless Accurate Multi-person Motion Acquisition) — инновационный пайплайн для захвата движений нескольких человек по видео без использования специализированных костюмов и маркеров. Система позволяет достичь точности, сопоставимой с профессиональными решениями, используя лишь обычные видеокамеры.

Что произошло

Разработан пайплайн MAMMA, который реконструирует параметры модели SMPL-X с помощью трансформерной сети MammaNet на базе архитектуры ViT-Base. Система предсказывает 512 поверхностных ориентиров (landmarks), учитывая неопределенность и вероятность физических контактов между людьми. При использовании синхронизированных камер, таких как несколько iPhone, точность системы на контрольных данных составляет менее 1 мм.

Контекст

Традиционные системы захвата движения (MoCap), такие как Vicon или OptiTrack, требуют дорогостоящего оборудования, специальных датчиков и маркеров, что делает процесс сложным и финансово затратным. MAMMA предлагает альтернативу, перенося фокус с аппаратного обеспечения на программную реконструкцию на основе видеопотока.

Почему это важно для индустрии

Технология обеспечивает значительную демократизацию MoCap-индустрии. Возможность точного захвата взаимодействия группы людей без использования проприетарного оборудования открывает новые возможности для производства высококачественной анимации в кино, видеоиграх и метавселенных, используя только доступные потребительские камеры.

Почему это важно для пользователей

Для создателей контента и 3D-аниматоров это означает радикальное снижение порога входа. Теперь для получения точных данных движения для Blender, Maya или Unreal Engine не нужно покупать специализированные костюмы — достаточно расставить смартфоны вокруг сцены для получения профессиональных результатов.

Что пока неизвестно / ограничения

Заявленная точность менее 1 мм была получена на контрольных данных; требуется дополнительная проверка эффективности системы в реальных, неструктурированных сценариях и изучение вопросов задержки (latency) и масштабируемости пайплайна.

Источники

Автор

Look at AI, редакция