Исследователь Jinkun Cao выпустил FAH (Fast and Accurate Hand Estimation) — семейство открытых моделей, которые оценивают кисти рук из одного кадра или видео в реальном времени. На потребительской видеокарте RTX 4070 Ti SUPER базовая FAH-L показывает 4.31 мм PA-MPJPE на бенчмарке HOT3D при 65 кадрах в секунду с подгонкой MANO-сетки, тогда как точные офлайн-оценщики предыдущего поколения HaMeR и WiLoR работают лишь на ~4.6–4.7 кадрах в секунду. Код опубликован на GitHub (noahcao/FAH) под Apache 2.0, веса выложены на Hugging Face и доступны для скачивания.

Что произошло

Релиз оформлен как исследовательский комплект: arXiv-статья 2611.07711 под названием Fast and Accurate Hand Estimation in Pixels, Interaction and World Space подана 5 ноября 2026 года, код открыт в публичном репозитории. Семейство масштабируется по размеру: компактная FAH-S работает на 101 кадре в секунду с подгонкой сетки и 125 без неё, тяжелая FAH-H выдает лучшую точность 4.12 мм PA-MPJPE при 27 кадрах в секунду. Модель напрямую предсказывает 2D-суставы и плотные 3D-точки поверхности кисти, подгоняет результат к параметрическим моделям MANO и/или MHR-Hand, а опционально размечает анатомические части кисти и вероятности контакта с объектом без знания его геометрии. Для видео предусмотрен режим со сглаживанием трека каузальной моделью, world-режим дополнительно оценивает камеру. Подключение опциональных модулей снижает скорость базовой FAH-L: разметка частей опускает её до 54 кадров в секунду, конфигурация с частями и контактом — до 49, видео-режим — до 59. Готов экспорт в TensorRT и Core ML.

Контекст

До этого релиза плотная 3D-оценка кистей делилась на два лагеря: точные офлайн-оценщики со скоростью единиц кадров в секунду и быстрые методы, которые экономили на плотности и 3D-детализации. FAH претендует на сдвиг этой Pareto-границы — реалтайм с точностью офлайн-класса одновременно. Ставка сделана и на развернутый формат вывода: подгонка к стандартным параметрическим моделям кисти делает результат совместимым с существующими пайплайнами анимации и робототехники, а вероятности контакта с объектом отсылают к задачам взаимодействия рука-объект, где сравнительное видео haco_vs_fahL на странице проекта указывает на прямое позиционирование против interaction-бенчмарков. Замеры при этом привязаны к конкретной потребительской видеокарте и fps предсказуемо падает по мере подключения опциональных модулей — признак дисциплины в профилировании, а не подгонки одного рекордного числа.

Почему это важно для индустрии

Для индустрии FAH закрывает конкретную инженерную дыру: захват жестов, real-to-sim пайплайны с реплеем в MuJoCo и робототехнические системы, которым нужна плотная 3D-модель кисти, раньше вынуждены были выбирать между офлайн-точностью и реальным временем. Реалтайм-бэкенд с подгонкой сетки и оценкой контакта без геометрии объекта подходит и для жестовых интерфейсов, и для edge-устройств, а стоимость инференса падает на порядок относительно офлайн-класса. Код под разрешительной лицензией позволяет встраивать модель в исследовательские пайплайны без переговоров, но командам, которым модель нужна в коммерческом продакшене, вход заблокирован лицензией весов: придется договариваться о коммерческой лицензии или файнтюнить открытую архитектуру. Если независимые прогоны подтвердят цифры, ожидаемы community-сборки, оптимизированные форки и альтернативные модели, копирующие этот компромисс скорость/точность.

Почему это важно для пользователей

Попробовать можно прямо сейчас: склонировать репозиторий github.com/noahcao/FAH, скачать веса noahcao/FAH с Hugging Face и прогнать demo со своей картинкой, видео или живой камерой. Для работы с MANO потребуется отдельная регистрация на mano.is.tue.mpg.de. На железе RTX-класса за день-два реально собрать рабочий прототип захвата жестов на десятках кадров в секунду, потому что заявленные замеры получены на потребительской видеокарте, а не на серверном железе. Главный практический ограничитель — лицензия: веса распространяются только для исследования и некоммерческого использования, то есть коммерческий продукт на этих весах выпустить не получится.

Что пока неизвестно / ограничения

Известные оговорки: независимых сторонних прогонов пока нет, поэтому смена класса решения опирается на авторские замеры. PA-MPJPE — прокрустово-выровненная метрика, она не измеряет точность в мировых координатах, а единственный бенчмарк в материалах релиза — HOT3D, так что эффективность world-режима с оценкой камеры заявленными цифрами напрямую не подтверждена. Условия лицензии весов оставляют FAH принципиально исследовательским артефактом, поэтому называть плотную оценку кисти «commodity» преждевременно.

Источники

Автор

Look at AI, редакция