🤖 Google Research опубликовала AgentHands: XR-агент с руками, которые говорят в такт
Это прототип для Android XR, где разговорный ИИ-агент сопровождает свою речь синхронизированными анимированными руками: указывает на реальные объекты в комнате, «показывает» движения и сигнализирует об опасности (красным свечением у горячего сопла 3D-принтера).
🌍 Это шаг от «плоских» подсказок на экране телефона к пространственным агентам в AR-очках: LLM генерирует GestureEvents — жесты, привязанные к конкретным словам, — а устройство синхронизирует их с TTS по таймстампам слов. Работа представлена на CHI 2026.
👤 Агент больше не просто говорит «вот там» — он показывает. В испытании с 12 участниками жесты значимо (p < 0,05) облегчили поиск объектов и понимание инструкций лучше, чем чисто голос.
Источник 1: https://research.google/blog/agenthands-generating-interactive-hand-gestures-for-spatially-grounded-agent-conversations-in-xr/