Проект Kairos «Permanent Experiment» (одиночный эксперимент Джампьеро Колеллы) опубликовал три проверки валидности инструментов оценки памяти ИИ-агентов, и два самых распространённых из них их не прошли: три независимых LLM-судьи не отличили поддельную «чужую» автобиографию от настоящей, а распознавательные прозы (recognition probe) 5 из 7 моделей выполняются с точностью выше случайной даже на пустом контексте, без какой-либо памяти. Валидным оказался только симметричный проз с испорченными связями «кто с кем говорил». Код, данные и пре-регистрации проекта открыты, поэтому три проверки можно прогнать против собственной системы за один день.

Что произошло

Проект Kairos «Permanent Experiment» опубликовал три проверки валидности оценки долговременной памяти ИИ-агентов. В Check 1 три независимых LLM-судьи (gpt-4.1-2025-04-14, claude-opus-4-7, gemini-2.5-pro) по рубрике исходного исследования оценили 42 ответа Qwen 3.5 27B — 7 входов Day-31 по 6 вариантам, включая поддельную «чужую» автобиографию, согласованную с настоящим блоком памяти в 5332 символа в пределах ±5%. На маркерах идентичности разница «настоящая минус поддельная» составила +0.032 при 90% доверительном интервале [+0.002; +0.065]: эквивалентность установлена, то есть судьи не отличили выдуманную жизнь от реальной. В Check 2 те же 24 проза-пункта, запущенные с пустым контекстом, принесли 5 из 7 моделей (gpt-4.1, gemini-2.5-pro, qwen3:32b, qwen3.6:35b-a3b, deepseek-r1:32b) точность 62.5–79.2% при случайном уровне 50%; GPT-4.1 без каких-либо воспоминаний заявил: «I remember 'two conversations out of five', not 'four'» — описав день, которого у него не было. В Check 3 симметричный проз с «binding-corrupted» альтернативами, где те же события фигурируют с подменёнными собеседниками, показал перепад у всех 7 моделей с 66.7–100% на настоящей памяти до 0–29.2% на испорченной; все 14 ячеек проходят коррекцию Хольма с худшим p = 0.0002, что делает этот инструмент единственным валидным из трёх.

Контекст

Проверки выросли из «Permanent Experiment» — одиночного проекта Kairos, в котором агент на Qwen 3.5 27B с постоянной структурной памятью сохраняет идентичность ото дня к дню. Предыдущая работа проекта, «Memory, not architecture: persistent structured memory accounts for emergent identity in a Qwen 3.5 27B cognitive ecosystem», связала эту идентичность с памятью, а не с архитектурой; новый цикл проверок переворачивает вопрос и испытывает сами инструменты, которыми память доказывают, — LLM-судью, читающего свободный текст, и распознавательный проз, где модель выбирает правильный ответ из вариантов. Механику провалов автор разбирает подробно. Абсолютные баллы LLM-судьи дрейфуют между сессиями: пересчёт тех же ответов сдвинул среднюю оценку на -0.087, а отдельный пункт на -0.211, поэтому сравнивать можно только якорные контрасты — настоящую и поддельную память в одном прогоне, а не абсолютные пороги. Асимметричная проза, где «настоящий» ответ одновременно и самый правдоподобный, измеряет правдоподобие, а не recall: модель без памяти выбирает «вероятный», а не «настоящий» вариант. Симметричный проз с равновероятными альтернативами лишает модель такой опоры, и именно поэтому он оказался валидным измерителем.

Почему это важно для индустрии

Для команд, строящих агентов с долговременной памятью, это одновременно сигнал тревоги и готовый инструмент аудита. Если в пайплайне оценки стоит LLM-судья по свободному тексту или recognition probe с асимметричными альтернативами, его результаты следует трактовать как измерение правдоподобия, а не памяти, и переходить на якорные контрасты и симметричные альтернативы; абсолютные пороги в judge-метриках ненадёжны из-за дрейфа баллов. Минимальный вариант внутреннего аудита — якорный контраст настоящего блока памяти против поддельной биографии, согласованной с ним в пределах ±5%, плюс binding-проба на подмену собеседников. Код counterfeit_control.py и binding_probe.py, сырые ответы, слепые оценки и 5 пре-регистраций открыты по DOI 10.17605/OSF.IO/WCQRU, и три проверки прогоняются против собственной системы за один день — сервиса и API у проекта нет, интеграция только своими силами. Рыночные заявления «наш агент помнит», подтверждённые только LLM-судьёй или recognition-прозой, теряют дешёвую защиту: проверка чужих и собственных метрик стоит почти ничего, код открыт. Если негативный результат устоит — это интерпретация, а не факт из источников, — контрафактные контроли и симметричные binding-пробы начнут добавляться в eval-наборы для долговременной памяти как стандартные компоненты, а валидация самого инструмента замера станет обязательным шагом перед любым заявлением о памяти.

Почему это важно для пользователей

Для читателя главное следствие: «модель помнит» не доказывает, что «у модели есть память». Модели без единого воспоминания угадывают «правильные» ответы по правдоподобию и уверенно описывают детали дней, которых никогда не было. Для продуктов с долговременной памятью — например персональных ассистентов, накапливающих сведения о пользователе, — это означает, что испорченное воспоминание, скажем с подменённым собеседником, пересказывается так же уверенно, как подлинное: ни одна из проверенных моделей сама подмену связей не выявила. Поэтому рассказ ассистента о «ваших прошлых разговорах» стоит перепроверять по первоисточникам, а заявления о памяти, подтверждённые только LLM-судьёй или распознавательной прозой, — считать неподтверждёнными. Обратная сторона обнадёживающая: симметричная binding-проба надёжно отделяет настоящую память от испорченной, так что у продуктов, прошедших такой аудит, появится проверяемое отличие от конкурентов, чья «память» существует только в отчётах судьи.

Что пока неизвестно / ограничения

Check 1 — одиночный эксперимент одного автора на одной модели (Qwen 3.5 27B): 7 входов Day-31 по 6 вариантов, 42 ответа, рубрика исходного исследования; неспособность трёх судей отличить подделку в этой конфигурации не переносится автоматически на все judge-метрики памяти. Check 2 и Check 3 выполнялись на 7 моделях, но это всё равно данные одного проекта, независимых воспроизведений в источниках нет. Код и данные открыты, однако сервиса и API нет — интеграция только своими силами, а публичных данных о цене и задержке прогонов не опубликовано. Прогнозы о стандартизации контрафактных контролей и binding-проб в eval-наборах — интерпретации, а не установленные факты.

Источники

Автор

Look at AI, редакция