Команда VideoDB выпустила open-record-replay — MCP-сервер, который позволяет обучать ИИ-агентов сложным десктопным задачам путем простой записи действий пользователя. Система превращает визуальный опыт и события доступности в структурированные цифровые навыки.
Что произошло
Разработан новый MCP-сервер под названием open-record-replay, который захватывает события доступности (accessibility events) и видеопоток рабочего стола. Полученные данные обрабатываются с помощью LLM и преобразуются в машиночитаемые форматы SKILL.json и SKILL.md. Эти артефакты позволяют ИИ-агентам воспроизводить сложные сценарии использования десктопных приложений, понимая текущий контекст.
Контекст
Традиционные методы автоматизации часто полагаются на написание хрупких скриптов, которые легко ломаются при изменении интерфейса. Текущий подход предлагает переход от жесткого программирования к методу 'learning by demonstration' (обучение через демонстрацию), что позволяет создавать навыки для работы даже с legacy-приложениями, не имеющими открытого API.
Почему это важно для индустрии
Инструмент решает проблему разрыва между текстовыми инструкциями и сложным графическим интерфейсом (UI), переводя действия человека в формат, пригодный для автоматизации через экосистему Model Context Protocol (MCP). Это ускоряет цикл R&D для создания специализированных ИИ-помощников и открывает путь к созданию масштабируемых цифровых двойников рабочих процессов.
Почему это важно для пользователей
Для пользователей и разработчиков это означает возможность 'обучать' ИИ-агентов сложным задачам в приложениях, просто один раз показав им, как это делать. Это избавляет от необходимости писать длинные и сложные скрипты автоматизации, значительно снижая порог входа в создание персональных ИИ-ассистентов.
Что пока неизвестно / ограничения
Специалисты отмечают потенциальные риски, связанные с надежностью воспроизведения действий в реальных production-средах и вопросами безопасности данных при захвате рабочего стола.
Источники
Автор
Look at AI, редакция