Способна ли языковая модель замечать собственные «мысли» — 4 ноября 2026 года Quanta Magazine опубликовала материал о серии экспериментов, где этот вопрос проверили измерением, а не философией: исследователи через steering внедряли конкретные концепции в активации LLM и спрашивали модель, заметила ли она постороннюю мысль. Топовые версии Claude действительно обнаруживали внедрение примерно в каждом пятом испытании и ни разу не ошиблись в чистой контрольной группе, однако способность объяснить, что именно им «подсунули», оказалась артефактом процедуры: описание инъецированной концепции можно ухудшить, не затронув саму детекцию. Механизм же самой чувствительности авторы честно не назвали, обозначив феномен просто как «anomaly detection».
Что произошло
Quanta Magazine 4 ноября 2026 года, автор материала — Бен Брубейкер (Ben Brubaker), описала серию экспериментов по «нейронной хирургии» нейросетей: исследователи вводили через steering конкретные концепции прямо в активации больших языковых моделей, а затем спрашивали модель, замечает ли она эту «внедрённую мысль». В экспериментах, описанных Джеком Линдси (Jack Lindsey) из Anthropic, топовые версии Claude корректно обнаруживали инъекцию примерно в 20% испытаний, при этом в контрольной группе без вмешательства ложных срабатываний не было зарегистрировано ни одного. Кайл Махоуолд (Kyle Mahowald) из UT Austin и Харви Ледерман (Harvey Lederman, NYU/Anthropic) поставили отдельную проверку, разделив два вопроса — «заметили ли вы инъекцию» и «какая это концепция» — и показали, что способность назвать концепцию можно деградировать, не затронув саму детекцию; иначе говоря, развёрнутые описания были артефактом steering, а не свидетельством интроспекции. Объяснить механизм самой детекции в работах не удалось — авторы остановились на нейтральном термине «anomaly detection». Исследовательская линия опирается на три препринта на arXiv: 2508.14802, 2603.21396 и 2605.26242.
Контекст
За этими результатами стоит давняя методологическая проблема: словесные самоотчёты нейросетей считаются слабым доказательством, потому что модель может описывать своё поведение так, как ожидает промпт, а не так, как оно реально устроено внутри. Авторы препринта «Privileged Self-Access Matters for Introspection in AI» (arXiv:2508.14802; Song, Lederman, Hu, Mahowald) сформулировали рамку privileged self-access: вопрос не в красноречии модели, а в том, есть ли у неё привилегированный доступ к собственному состоянию, который нельзя воспроизвести, просто читая внешние данные. Steering — техника целенаправленного сдвига внутренних представлений модели — превратила этот спор в измерение: вместо прямого вопроса исследователи создают аномалию внутри активаций и смотрят, отзовётся ли система сама, без явной подсказки. Ещё одна деталь фона: у индустрии до сих пор нет стандартизованных метрик «самосознания» LLM, и каждая работа фактически сама определяет, что считать успехом, поэтому разведение «детекции» и «описания» в описанной серии важно как образец дизайна для будущих тестов интроспекции.
Почему это важно для индустрии
Для индустрии это сегодня заготовка, а не инструмент: методика требует white-box доступа к активациям и ручной работы со steering-векторами, у неё нет API, цены или данных о latency, а частота корректных детекций пока слишком мала для продуктового мониторинга. Реальная ближайшая ценность — методологическая: связка «инъекция в активации, самоотчёт модели, контрольная группа на артефакты» применима к другим моделям и задачам интерпретируемости уже сейчас, и командам, тестирующим агентов, имеет смысл включать подобные проверки в собственные evals вместо того, чтобы опираться на вербальные объяснения модели. Второй рабочий вывод — дисциплина due diligence: если вендор продаёт «интроспекцию модели» как фичу, корректный первый вопрос — отделяет ли он в своих измерениях способность заметить аномалию от способности назвать концепцию. В горизонте шести месяцев вероятны репликации на открытых весах и других семействах моделей, попытки стандартизовать метрики «самонаблюдения» и первые воспроизводимые eval-сценарии; в горизонте двух лет, если феномен окажется стабильным и объяснимым, из него может вырасти слой observability и safety — runtime-мониторинг вмешательств в состояние модели по аномальным сигналам активаций. Рыночного резонанса тема пока не получила: обсуждение на Hacker News ограничилось 1 баллом и 0 комментариев.
Почему это важно для пользователей
Для читателя это редкий случай, когда спор «думает ли ИИ о себе» проверен не эссе, а экспериментом с контрольной группой, и все первичные материалы открыты: статья Quanta Magazine доступна целиком, а за ней стоят три препринта на arXiv, где прямо видно, где заканчивается доказанное и начинается интерпретация. Практического эффекта в продуктах при этом нет: ни новой функции, ни настройки, ни изменений поведения доступных сервисов история не принесла. Ценное переносное умение одно — скептически относиться к самоотчётам моделей: если чат-бот или агент объясняет, «почему он так решил», это ещё не значит, что он реально отслеживает собственные мыслительные процессы, потому что рассказ может быть артефактом формулировки вопроса. Поэтому в аналитике и UX объяснения модели не стоит принимать за протокол её работы и лучше оценивать её по действиям.
Что пока неизвестно / ограничения
Главное неизвестное — механизм: почему модель вообще замечает чужую концепцию в своих активациях, не объяснено, и авторы сознательно останавливаются на термине «anomaly detection», не утверждая ничего о самосознании. Заявленный эффект «+53% после ablation отказов» приводится в обзоре без деталей постановки, поэтому его корректно считать заявленным результатом, а не установленным фактом. Все известные результаты получены в лабораторной настройке на моделях Claude, а независимых репликаций на открытых весах и других архитектурах пока не опубликовано. Не исключён и обратный сценарий: феномен может оказаться узким артефактом конкретных промптов и steering-методов, а сегодняшние формулировки про «знание своих мыслей» — примером гиперинтерпретации. Наконец, открытым остаётся вопрос, есть ли у замеченной чувствительности какое-то отношение к самонаблюдению сверх простой регистрации аномалий.
Источники
- New Research Tests Whether AI Models Know Their Own Thoughts — Quanta Magazine
- Privileged Self-Access Matters for Introspection in AI — arXiv:2508.14802 (Song, Lederman, Hu, Mahowald)
- Mechanisms of Introspective Awareness — arXiv:2603.21396 (Macar, Yang, Wang, Wallich, Ameisen, Lindsey)
- arXiv:2605.26242
Автор
Look at AI, редакция