Открытые модели FAH оценивают кисти рук в реальном времени

🤖 Открытые модели FAH оценивают кисти в реальном времени

Jinkun Cao выпустил FAH (Fast and Accurate Hand Estimation) — семейство открытых моделей оценки кистей рук из кадра или видео. Код на GitHub (noahcao/FAH) под Apache 2.0, веса — только для исследования. Модель предсказывает 2D-суставы, плотные 3D-точки поверхности и контакт с объектом, экспортируется в TensorRT и Core ML.

🌍 Офлайн-оценщики HaMeR и WiLoR работают на ~4.6-4.7 fps, а FAH-L дает 4.31 мм PA-MPJPE на HOT3D при 65 fps, компактная FAH-S — 101 fps. Это готовый бэкенд для захвата жестов, real-to-sim в MuJoCo и робототехнических пайплайнов.

👤 Можно склонировать репозиторий, скачать веса с Hugging Face (noahcao/FAH) и прогнать свои фото или видео через demo. Веса — только для исследований, для MANO нужна регистрация на mano.is.tue.mpg.de.

Источник 1: http://jinkuncao.com/FAH/ Источник 2: https://arxiv.org/abs/2611.07711