Инженеры компании Kong внедрили многоагентный AI-воркфлоу для автоматизации устранения нестабильных («flaky») тестов в своей среде CI/CD. Система, основанная на архитектуре Orchestrator-Investigator-Verifier, продемонстрировала способность решать сложные задачи отладки, которые ранее оставались нерешенными годами.
Что произошло
Команда Kong использовала многоагентную систему на базе Claude 3 Opus для анализа логов и генерации исправлений, а также Claude 3 Haiku для верификации результатов. В ходе эксперимента агенты успешно исправили 12 из 15 наиболее проблемных тестов. Среди достижений — устранение бага в загрузчике конфигурации, который не удавалось исправить специалистам на протяжении пяти лет.
Контекст
Проблема «flaky» тестов (нестабильных тестов, дающих разные результаты при одном и том же коде) является критическим вызовом для надежности CI/CD пайплайнов. Традиционные подходы к использованию LLM часто ограничены контекстным окном и отсутствием итеративного цикла проверки, что затрудняет решение глубоких технических проблем.
Почему это важно для индустрии
Данный кейс знаменует переход от простого использования LLM в качестве чат-ботов к созданию специализированных многоагентных систем. Архитектура, разделяющая роли на Orchestrator, Investigator и Verifier, позволяет эффективно реализовывать цикл «наблюдение-исправление-проверка» (observe-fix-verify), оптимизируя при этом затраты на токены и управление контекстом при выполнении сложных инженерных задач.
Почему это важно для пользователей
Для инженеров это практическое подтверждение того, что AI-агенты могут эффективно работать с реальным техническим долгом и автоматизировать рутинную отладку кода. Внедрение подобных инструментов в жизненный цикл разработки (SDLC) позволяет освободить время специалистов для проектирования новых функций и снизить операционные расходы на поддержку инфраструктуры.
Что пока неизвестно / ограничения
Существует необходимость учитывать потенциальные бизнес-риски и вопросы защиты интеллектуальной собственности (IP) при передаче задач по отладке автономным агентам.
Источники
Автор
Look at AI, редакция