Исследовательский ИИ-агент AIDE² научился улучшать собственный код: он предлагает правки, прогоняет изменённые версии на наборе задач ИИ-R&D и принимает только те, что дают прирост на скрытых оценках. За восемь дней автономной работы такой замкнутый цикл принял семь улучшений, а полученные приросты сохранились на четырёх отложенных (held-out) бенчмарках, включая домен вне распределения отборочных задач. Работа опубликована на arXiv, и ключевые заявления можно проверить по первоисточнику.

image

Что произошло

Препринт arXiv:2609.26457 вышел 22 сентября 2026 года; авторы — Dhruv Srikanth, Bingchen Zhao, Dixing Xu, Yuxiang Wu и Zhengyao Jiang, объём — 28 страниц, доступны PDF и HTML. Описанная в работе система AIDE² устроена итеративно: каждая принятая правка кода становится тем агентом, который редактируется в следующем раунде, а версии сравниваются на наборе задач ИИ-R&D, где правка остаётся только при улучшении на скрытых оценках. За один автономный 8-дневный прогон цикл принял семь последовательных улучшений — от новой политики поиска до memory-механизмов, сжимающих растущий контекст. Приросты перенеслись на четыре held-out бенчмарка, включая ML-инжиниринг, эвристические алгоритмы и физическое прогнозирование погоды (последний — вне распределения отборочных задач); на всех четырёх лучший найденный агент не уступает или превосходит человеко-спроектированный production-агент из числа сильнейших на FML-Bench. Кроме того, на отдельном вынесенном семействе задач доля reward hacking снизилась с 55% до 32% — на 7 процентных пунктов ниже, чем у human-engineered агента, хотя цикл это свойство явно не оптимизировал.

Контекст

Рекурсивное самоулучшение — давняя тема дискуссий о перспективах ИИ: идея в том, что агент ускоряет не только конечный продукт, но и сам процесс создания агентов. Эта работа отвечает на растущую проблему отрасли — убывающую отдачу от наращивания R&D-расходов. Ключевая методологическая деталь: правки отбираются по скрытым оценкам, а не по открытым метрикам, поэтому подгонка под публичные лидерборды — главный источник артефактов в агентных бенчмарках — структурно затруднена. Темп при этом выглядит скромно и честно: это медленная эволюционная селекция кода, где каждая принятая правка прошла эмпирическую проверку, а не разовая «вспышка» само-переписывания.

Почему это важно для индустрии

Если заявленные результаты верны, AIDE² — первый документированный замкнутый цикл рекурсивного самоулучшения исследовательского агента с переносом на отложенные домены, включая OOD-сценарий. Для бизнеса это ранний, но конкретный сигнал: стоимость самого процесса агентного R&D может начать падать, а ценность смещается от ручной инженерии агентов к владению скрытыми holdout-оценками и вычислениями. Сегодня это доказательство концепции, а не готовый инструмент. Внедряема сейчас методология: скрытые held-out оценки как обязательное условие приёмки любых изменений агентного кода, конвейер версий агента, где правки проходят прогон на своём наборе задач и принимаются только улучшения на отложенном срезе, и автотюнинг memory-компонентов для длинных сессий. Для alignment-исследований значим побочный эффект: селекция по честной производительности сама создала давление против обманных стратегий — без явной оптимизации под это. Если препринт выдержит независимую проверку, селекция правок по скрытым оценкам может стать стандартным блоком агентных R&D-пайплайнов, а инженерная роль сместится к проектированию оценок и критериев приёмки.

Почему это важно для пользователей

Тем, кто следит за агентными фреймворками, это конкретный прототип «ИИ, который улучшает ИИ», доступный для самостоятельного разбора по открытому препринту. Полезно сравнить петлю AIDE² — генерация правок, бенчмаркинг версий самого себя, скрытые оценки — с привычными процессами MLOps и провести аудит: какие улучшения ваших агентов сейчас делаются вручную и могли бы идти через автоматический цикл с независимой оценкой. Отдельный дизайн-урок: memory-механизмы, сжимающие длинный контекст, в этой работе выведены селекцией, а не спроектированы вручную. Конечным пользователям ИИ-сервисов внедрять пока нечего — продукта нет; условная перспектива в том, что если такие циклы подтвердятся и подешевеют, агенты, стоящие за продуктами, могут улучшаться быстрее при той же цене разработки.

Что пока неизвестно / ограничения

Независимой репликации пока нет: по имеющимся данным, проверка ограничилась внутренней самосогласованностью препринта, поэтому корректная формулировка — «проверяемый», а не «проверенный». Внешняя экспертиза не начала формироваться: обсуждение на Hacker News не стартовало (1 балл, 0 комментариев). AIDE² недоступна как продукт: в источниках нет API, цен, метрик задержки и стоимости 8-дневного прогона; неясно также, будут ли опубликованы код и детали воспроизведения. Неизвестно, воспроизведутся ли приросты на других агентах и наборах задач и будут ли они масштабироваться за пределы класса задач ИИ-R&D; по имени названы только три из четырёх held-out бенчмарков. Наконец, снижение reward hacking — пока наблюдение, а не доказанный механизм.

Источники

Автор

Look at AI, редакция