🤖 Три LLM-судьи не отличили настоящую память ИИ-агента от поддельной
Проект Kairos «Permanent Experiment» (одиночный эксперимент, автор Giampiero Colella) опубликовал три проверки валидности оценки памяти ИИ-агентов. В первой три независимых LLM-судьи (gpt-4.1-2025-04-14, claude-opus-4-7, gemini-2.5-pro) оценили 42 ответа Qwen 3.5 27B, включая поддельную «чужую» автобиографию, совпадающую с настоящим блоком памяти в 5332 символа в пределах ±5%. Разница «настоящее − поддельное» на маркерах идентичности составила +0.032 при 90% ДИ [+0.002; +0.065] — эквивалентность установлена: судьи не отличили выдуманную жизнь от реальной. Во второй проверке те же 24 распознавательные прозы (recognition probe) на пустом контексте дали 5 из 7 моделей (gpt-4.1, gemini-2.5-pro, qwen3:32b, qwen3.6:35b-a3b, deepseek-r1:32b) по 62.5–79.2% — выше случайных 50%, значит, прозы измеряли правдоподобие, а не воспоминание, и были отброшены. В третьей проверке с испорченными связями (те же события, но с подменёнными собеседниками) все 7 моделей упали с почти идеальной точности 66.7–100% на настоящей памяти до случайного уровня или ниже — 0–29.2%; все 14 ячеек выдержали коррекцию Хольма (худший p = 0.0002).
🌍 Это воспроизводимый контрпример к двум доминирующим способам оценки памяти агентов — LLM-судье и распознавательному прозу, с ясным механизмом провала: абсолютные оценки судей дрейфуют между сессиями (пересчёт тех же ответов дал в среднем −0.087, до −0.211 на одном пункте), поэтому сопоставимы только якорные контрасты, а прозы с асимметричными альтернативами модели проходят по правдоподобию, выбирая «вероятный», а не «настоящий» ответ. Публичные обещания «агент помнит», опирающиеся на эти методы, могут не соответствовать фактическому поведению системы. Исходное 30-дневное исследование Qwen 3.5 27B зарегистрировано на OSF (DOI 10.17605/OSF.IO/WCQRU), пре-регистрации заморожены 13 июля 2026, код и данные открыты.
👤 «Модель помнит» — не то же самое, что «у модели есть память»: судьи не отличили поддельную биографию от настоящей, а модели без памяти угадывают «правильный» ответ по правдоподобию. GPT-4.1 с пустым контекстом заявил «I remember 'two conversations out of five', not 'four'» — о дне, которого у него не было. Тем, кто пользуется агентами с долгой памятью или выбирает продукты с «постоянной памятью», стоит спрашивать, чем проверяется память: устойчивой к подделке методикой (симметричные альтернативы, испорченные связи) или самоотчётом модели, который легко выдаёт правдоподобие за воспоминание.
Источник 1: https://kairos-experiment.com/checks.html Источник 2: https://kairos-experiment.com/methods.html