🛠 Vercel Labs выпустила agent-desktop — computer use для ИИ-агентов
Инструмент на Rust под Apache-2.0 работает не через скриншоты, а через дерево доступности ОС: AX API на macOS, UI Automation на Windows, AT-SPI на Linux. Интерфейс отдаётся JSON-снимком: у каждого элемента свой ref, агент кликает и печатает по ref и заново читает экран для проверки.
🌍 Вместо распознавания пикселей — детерминированные ручки на элементы UI: снимок интерфейса — текст, а ошибки с полем disposition.retry отделяют безопасные повторные попытки от опасных.
👤 Ставится через npm install -g agent-desktop или Homebrew. По умолчанию всё работает headless — без движения курсора и перехвата фокуса, можно продолжать работать за тем же компьютером. Есть CLI, C-библиотека и MCP-режим.
Источник 1: https://github.com/vercel-labs/agent-desktop
Источник 2: https://www.harelasaf.com/articles/vercel-labs-agent-desktop-accessibility-tree-computer-use-retry-contract