🤖 ApprenticeBench: ИИ проверили как нового сотрудника
Лаборатория NeoCognition выпустила первый сквозной тест агента на реальной должности: ИИ осваивает работу AP-клерка в ERP Odoo — 100 последовательных задач с полугодовым архивом счетов, наставничество постепенно редеет. Claude Fable 5.1 решила 72% задач, GPT-6 Astra — 68%, лучший из людей — 51%, открытая Kimi K3 — 18%.
🌍 Впервые измеряется полный цикл «трудоустройства» ИИ: обучение на данных компании, работа в GUI без API, адаптация к меняющимся политикам. Порог «нового сотрудника» прошли лишь два флагмана; разрыв закрытых и открытых моделей авторы назвали крупнейшим из виденных.
👤 Лидерборд с ценами открыт на apprenticebench.com. «Налог на компьютер» исчез лишь у двух флагманов, но агент пока дороже человека: $18,23 за задачу против $7,21, через API — $6,95.
Источник 1: https://neocognition.io/blog/apprentice-bench/ Источник 2: https://apprenticebench.com/