Выпущен специализированный CLI-инструмент token-trace-viewer, позволяющий проводить гранулярный аудит расходов на токены в сложных многоагентных LLM-системах.
Что произошло
Разработчик представил утилиту token-trace-viewer, которая обрабатывает JSONL-логи в формате OpenInference. Инструмент выводит детальные таблицы с расходом токенов и стоимостью выполнения для каждого отдельного агента и каждого шага (step) в рамках одного запуска. Это позволяет обнаруживать наиболее дорогие операции и выявлять проблему wasted tokens — избыточную передачу одних и тех же контекстных блоков между агентами.
Контекст
В современных многоагентных архитектурах стандартные дашборды мониторинга обычно показывают лишь общие тренды затрат. Это создает проблему «черного ящика», когда невозможно быстро определить, какой именно sub-agent или конкретный шаг выполнения вызвал резкий скачок расходов в рамках одной сессии.
Почему это важно для индустрии
Инструмент способствует переходу от простого мониторинга к полноценному DevOps для LLM. Использование стандарта OpenInference обеспечивает совместимость с современными фреймворками трассировки, что может сделать подобные механизмы обязательной частью CI/CD и стандартом для управления юнит-экономикой сложных AI-продуктов.
Почему это важно для пользователей
Разработчики AI-агентов получают доступ к низкопороговому инструменту для локальной отладки и оптимизации бюджета без необходимости развертывания тяжелой инфраструктуры или использования платных SaaS-решений. Это позволяет точечно исправлять неэффективные промпты и избыточные вызовы API на ранних этапах разработки.
Источники
Автор
Look at AI, редакция