Модель Anthropic Fable 5.2 возглавила бенчмарк Remote Labor Index (RLI) от Scale Labs и Center for AI Safety, доведя до уровня, приемлемого для клиента, 41,3% реальных заказов с Upwork — примерно вдвое больше, чем у ближайших конкурентов Opus 5.5 и GPT 6 Astra, тогда как год назад лучший агент Manus закрывал лишь 2,5% подобных заданий. Сильнее всего прогресс заметен в звуко- и музыкальном монтаже, архитектурном и интерьерном проектировании и 3D-моделировании. При этом больше половины реальных заказов агенты по-прежнему не закрывают.

!image&subtitle=Scale%20Labs&theme=light)

image

Что произошло

Scale Labs и Center for AI Safety обновили лидерборд Remote Labor Index — теста, в котором агенты выполняют настоящие коммерческие заказы с Upwork, а не синтетические задачники. Первое место заняла модель Anthropic Fable 5.2: 41,3% заказов были приняты как пригодные к сдаче клиенту. Показатели Opus 5.5 (21,25%) и GPT 6 Astra (20,83%) оказались примерно вдвое ниже, предыдущая версия Fable 5.1 набирала 17,9%, а лучший агент годом ранее, Manus, справлялся лишь с 2,5% заданий. Основной прирост Fable 5.2 сосредоточен в звуко- и музыкальном монтаже, архитектурном и интерьерном проектировании и 3D-моделировании: впервые в истории бенчмарка модель решила почти 50 задач, которые не покорялись ни одной системе. В промышленном дизайне и анимации результаты пока любительские или вовсе битые файлы.

Контекст

Remote Labor Index устроен иначе, чем привычные тесты на изолированные навыки: он измеряет способность агента довести реальную коммерческую работу до конца. В выборку вошли 240 проектов от 358 верифицированных фрилансеров общей стоимостью около $144 000; средний заказ стоит $632,60 и занимает около 29 часов работы. Ключевые метрики здесь экономические: стоимость, время выполнения и доля заказов, принятых клиентом. Проверку результатов бенчмарк сохраняет ручной — эксперты открывают итоговые файлы в Blender, GIMP и Audacity, потому что ИИ-ревьюеры не справляются с профессиональным софтом. Именно благодаря такой честной приёмке достигнутый агентами рост способностей трудно списать на шум измерений или маркетинговый эффект.

Почему это важно для индустрии

Для отрасли RLI задаёт общедоступную точку отсчёта, которой раньше почти не было: бенчмарк измеряет сквозную коммерческую работу с экономическими метриками — стоимостью, временем и долей принятых работ, — а не отдельные умения на условных задачах. Скачок с 2,5% до 41,3% за год показывает, что агенты начинают закрывать целые категории фриланс-работ: аудио- и музыкальный монтаж, архитектурное и интерьерное проектирование, 3D-моделирование. Это напрямую затрагивает рынок удалённой работы, ценообразование фриланс-услуг и стратегии компаний, автоматизирующих production-процессы. Уже сейчас в сильных категориях бенчмарка можно собирать пилотные конвейеры вида «бриф — агент — ревью человеком — сдача» и мерить их пользу долей принятых работ. Конкуренция между Fable 5.2, Opus 5.5 и GPT 6 Astra превращает этот ориентир в предмет прямой гонки: лаборатории, вероятно, начнут целенаправленно подтягивать слабые категории, и лидерборд станет меняться быстро.

Почему это важно для пользователей

Для читателя это конкретный ориентир того, какие задачи ИИ уже реально выполняет «на сдачу клиенту», а где результат пока любительский или битый. Если вы заказываете или выполняете работу в аудиомонтаже, интерьерном проектировании или 3D-моделировании, агентские черновики и полуавтоматическая сдача появятся в этих категориях раньше, чем где-либо ещё. Промышленный дизайн и анимация, напротив, остаются зоной, где модель выдаёт битые исходники, поэтому человеческие навыки здесь пока вне конкуренции. Лидерборд RLI открыт: за динамикой моделей можно следить самостоятельно и вовремя решать, какие навыки стоит изучать, а какие уже частично автоматизируются.

Что пока неизвестно / ограничения

Выводы о траектории пока шаткие: оптимистичные сценарии роста «быстрее линейного» опираются всего на три точки — 2,5% у Manus, 17,9% у Fable 5.1 и 41,3% у Fable 5.2 — при выборке из 240 проектов, а три измерения ещё не образуют кривой. Результат 41,3% означает, что больше половины реальных заказов агент всё ещё не закрывает, поэтому эффект остаётся измерительным, а не рыночным. Для боевого применения не хватает данных: в опубликованных материалах нет цены инференса, латентности и метрик надёжности повторных запусков, а скачок внутри линейки Fable требует отдельной проверки, чтобы отделить вклад модели от промпт-инжиниринга. Ручная приёмка работ экспертами снижает систематическую ошибку ИИ-судей, но добавляет субъективность и плохо масштабируется, поэтому результаты бенчмарка — не гарантия качества в реальной работе с клиентами.

Источники

Автор

Look at AI, редакция