Провал AI-агента компании Linear, который шесть раз отправлял некорректные письма действующему клиенту, обнажил критическую проблему: стандартные методы оценки качества текста не способны выявить ошибки в логике действий и проверке фактов.
Что произошло
AI-агент компании Linear совершил серию ошибок, отправляя некорректные продающие письма существующему клиенту. Проблема заключалась не в качестве написания текста, а в том, что агент проигнорировал фактический статус клиента и историю контактов, нарушив так называемый «контракт состояний» (state contract).
Контекст
Традиционные методы оценки ИИ (LLM-as-a-judge) фокусируются на лингвистических параметрах, таких как беглость и связность речи. Однако в случае с автономными агентами ошибки переходят из плоскости галлюцинаций текста в плоскость совершения неправомерных действий на основе неполных или неверных данных о внешнем мире.
Почему это важно для индустрии
В индустрии происходит сдвиг парадигмы: от оценки генерации текста к верификации «пути доказательств» (evidence path). Разработчикам необходимо внедрять механизмы state-verification, которые проверяют соответствие действий агента текущему состоянию системы (статус клиента, домен почты, история) до того, как будет выполнено критическое действие.
Почему это важно для пользователей
При использовании и разработке ИИ-агентов нельзя полагаться только на то, насколько вежливо и грамотно бот формулирует ответы. Важно проверять, обладает ли система механизмами подтверждения критически важных данных перед нажатием кнопки «отправить», чтобы избежать операционных рисков.
Источники
Автор
Look at AI, редакция