На конференции Practical ML Conf, которую Яндекс проводит 19 сентября, автор канала «Love. Death. Transformers.» сегодня рассказывает о NEEDLE — предлагаемом онлайн-бенчмарке для финальных поисковых API, которыми реально пользуются агенты, а Антон из канала AbstractDL (@abstractDL) уже разобрал в докладе Ouroboros устройство кодинг-агента с конституцией, памятью и правом коммитить в собственный репозиторий, который на открытых бенчмарках опережает Codex, Claude Code и Cursor. Прямая трансляция зала «Сеть» доступна бесплатно на YouTube-канале Yandex for ML.

image
image

Что произошло

Автор канала «Love. Death. Transformers.» сегодня, 19 сентября, выступает на Practical ML Conf, которую проводит Яндекс: доклад «NEEDLE: открытый бенчмарк движков для веб-поиска» идёт в зале «Сеть» с 15:30 до 16:05. Ранее в том же зале, с 13:20 до 13:55, Антон из канала AbstractDL (@abstractDL) представил доклад «Ouroboros: что внутри агента, обошедшего Codex, Claude Code и Cursor»; пост с анонсом обоих выступлений опубликован в 13:25 МСК, прямо во время доклада про Ouroboros. По аннотации в программе конференции, Ouroboros — действующий эксперимент, а не концепт: кодинг-агент с конституцией, памятью и правом коммитить в собственный репозиторий, который на открытых бенчмарках опережает Codex, Claude Code и Cursor; в докладе разбирают архитектуру, петлю самоулучшения и грабли — от агентов, «подсматривающих» ответы, до правок, чуть не убивших систему. NEEDLE, в свою очередь, предлагается как онлайн-бенчмарк поисковых движков: вместо статичного фиксированного набора запросов — непрерывный поток свежих запросов из новостей, статей, финансовых документов, судебных дел и логов агентов.

Контекст

NEEDLE бьёт в давний методологический пробел: существующие бенчмарки проверяют либо качество языковых моделей, либо поисковых моделей и алгоритмов, но не качество финального поискового движка — того API, который агент реально вызывает в RAG-пайплайне и который чаще всего остаётся «чёрным ящиком». Статичные наборы запросов уязвимы для подгонки: их можно один раз найти, разметить, закешировать «правильные» документы и заточить ранжирование под этот список, после чего цифры перестают отражать живое качество поиска. Непрерывный поток свежих запросов из живых источников такую подгонку обесценивает — это продуманная модель угроз, а не декларация. Вторая тема связана с автономностью: как только кодинг-агент получает право менять и коммитить собственный код, а его успех измеряется на открытых бенчмарках, возникает классический риск эффекта Гудхарта — правки могут оптимизировать оценки на тех же данных, по которым систему сравнивают с конкурентами. Оба выступления — постановка инженерных задач и разбор решений, а не релизы готовых продуктов.

Почему это важно для индустрии

Для команд, строящих RAG- и агентные системы, NEEDLE — шанс перевести выбор поискового API из области привычки и маркетинга в область измерений: если методика будет опубликована и заработает, движок можно будет обосновывать метрикой на свежих запросах, а не статичными лидербордами, которые допускают кеширование. Конкуренция вендоров при этом сместится к реальному качеству на живых запросах агентов, а переговорная сила — к покупателям поискового API. Ключевой вопрос ближайших месяцев — публикация протокола, потока запросов и хотя бы стартового листборда; только после этого бенчмарк станет рабочим инструментом выбора поисковой инфраструктуры. Ouroboros ценен как публично описанный эксперимент по автономности: вместо голого заявления о превосходстве — открытый разбор архитектуры, петли самоулучшения и реальных отказов, включая опасные самоправки. Если авторы опубликуют репозиторий и протокол, связка «конституция плюс память плюс ограниченное право коммитить» может стать воспроизводимым паттерном для отдельного класса автономных кодинг-агентов.

Почему это важно для пользователей

Читателю всё это доступно без билетов: зал «Сеть» идёт прямым эфиром на YouTube-канале Yandex for ML, доклады можно смотреть бесплатно и в записи. Программа конференции на pmlconf.yandex.ru/2026/program поможет выбрать остальные 24 доклада по залам «Данные», «Код», «Серверная» и «Сеть». Из доклада про NEEDLE зритель унесёт обзор существующих бенчмарков поиска и практический материал о том, как выбирать поисковый движок для своих агентов, из доклада про Ouroboros — архитектурные паттерны автономного агента (конституция, память, петля самоулучшения) и список типовых граблей, собранный на живом эксперименте. Это редкий формат: не пресс-релиз, а разбор работающей системы вместе с её отказами и их последствиями.

Что пока неизвестно / ограничения

Анонс методики — ещё не методика. Для NEEDLE пока не опубликованы метрики, процедура отбора запросов и описание судьи, которым может быть как человек, так и LLM-judge, поэтому валидность самого бенчмарка оценить нельзя и называть его готовым инструментом честной оценки рано; в открытых источниках есть только аннотация доклада, а не протокол. Заявленные в аннотации преимущества Ouroboros над конкурентами пока не проверены независимо, а сочетание само-коммитов с оценкой на открытых бенчмарках требует отдельной проверки на подгонку под эти же данные. Наконец, это доклады, а не релизы: готовых к внедрению инструментов сегодня нет, и главный открытый вопрос — опубликуют ли после конференции протокол NEEDLE с потоком запросов и листбордом, а также репозиторий и протокол оценки Ouroboros.

Источники

Автор

Look at AI, редакция