JetBrains провела исследование эффективности навыка Caveman, который обещал сократить потребление токенов ИИ-агентами на 65% за счет лаконичного общения. Однако реальные тесты выявили, что в рабочих процессах, таких как написание кода и вызов инструментов, реальная экономия составляет не более 8.5%.
Что произошло
В ходе бенчмарка было установлено, что обещания радикальной экономии токенов через сверхлаконичный стиль общения не подтверждаются в реальных агентских рабочих процессах (Agentic workflows). Несмотря на то, что качество выполнения задач осталось на прежнем уровне (p = 0.82), фактическое снижение расходов составило лишь около 8.5% от заявленных 65%.
Контекст
Основной объем токенов в современных агентских задачах потребляют не текстовые пояснения или «болтовня», а структурированные данные: программный код, системные инструкции и вызовы инструментов. Разрыв между оптимизацией простых текстовых чатов и реальными процессами работы ИИ-агентов обусловлен именно этим распределением нагрузки.
Почему это важно для индустрии
Результаты подчеркивают необходимость смещения фокуса индустрии с оптимизации стиля естественного языка на разработку методов эффективного сжатия контекста (context compression) и оптимизацию передачи структурированных данных (structured data efficiency). Для компаний это означает, что архитектурные решения и оптимизация форматов (JSON, schema) принесут больше пользы, чем простая корректировка промптов.
Почему это важно для пользователей
Разработчикам и пользователям ИИ-агентов не стоит рассчитывать на значительное снижение стоимости API за счет использования методов лаконичности вроде Caveman. Хотя это безопасный способ сэкономить около 8-10% бюджета без потери качества работы, радикального сокращения расходов ожидать не стоит.
Что пока неизвестно / ограничения
Экономия может быть нестабильной из-за сложности контекста в различных рабочих сценариях.
Источники
Автор
Look at AI, редакция