Статья «Not Your Diary, Just Your Topic: Grading the Wrong-User Control» (arXiv 2611.09609, воркшоп NeurIPS 2026 PALM о персонализации и долгосрочной памяти ИИ-систем) оспаривает привычную проверку персонализации LLM: подмена всей истории пользователя меняет не только «личность», но и темы, поэтому стандартные метрики систематически завышают эффект личной памяти. Почти весь «личный» вклад исчезает на невиданных пользователях, а главным воспроизводимым артефактом работы становится чек-лист корректной оценки, который можно встроить в eval-пайплайны немедленно и почти бесплатно.
Что произошло
В Telegram-канале Love Death Transformers вышел пост соавтора исследования с анонсом: в декабре на конференции NeurIPS в Париже автор представит сразу три статьи, главная из которых, «Not Your Diary, Just Your Topic: Grading the Wrong-User Control», подана на arXiv 6 ноября 2026 года и направлена на воркшоп PALM (Personalized, Aligned, Long-Term Memory for AI Systems). Работа критикует привычный тест персонализации через полную подмену истории пользователя на чужую: это меняет и топики, поэтому падение метрики нельзя приписывать исчезновению эффекта персонализации. На задаче категоризации новостей LaMP-2 у замороженной LLM собственная история даёт лишь +2,3 п.п. точности против модели, обученной без истории, а приём «убрать историю только на этапе оценки» завышает выигрыш до 4,8 п.п. 86% разрыва между своей и чужой историей объясняются одними лишь метками категорий, а с синтетическими историями, совпадающими по меткам и похожести текста, разрыв падает до 0,9 п.п. В самом строгом тесте, на невиданных пользователях, преимущество собственной истории сжимается с 3,2 п.п. для пользователей, виденных при обучении, до статистически неубедительных 0,65 п.п.
Контекст
Персонализация и память о пользователе стали заметным направлением в разработке LLM-продуктов, и именно этой теме посвящён воркшоп PALM, куда попала статья. Стандартный способ проверить пользу памяти — подменить пользователю всю его историю на историю другого человека и посмотреть, насколько просядет качество. Такой контроль сконфужен: вместе с «личностью» меняются и темы, о которых говорит пользователь, поэтому модель может деградировать просто из-за смены тем, а не из-за пропавшей личной информации. Важно и то, на чём это показано: LaMP-2 — задача категоризации новостей с дискретными метками категорий, а в классификации с явными метками угадывание по совпадению тем особенно легко. Ответ статьи методологический: оценивать персонализацию на невиданных пользователях, добавлять топик-совместимые контроли и сравнивать с базлайном, обученным вовсе без истории.
Почему это важно для индустрии
Для индустрии сигнал двойной. Рынок «персонализации LLM» продаётся с систематически завышенными цифрами: значительная часть заявленного выигрыша «персонализированной модели» — это матчинг тем, поэтому при оценке вендорских решений и обещаний стоит запрашивать методологию проверки. Исправление при этом дёшево: три элемента чек-листа добавляются в eval-пайплайны как процессная перемена без переделки инфраструктуры, ведь сама публикация продовых архитектур пока не затрагивает. Из результатов следует продуктовая развилка: возможно, фонового сигнала пользователя в виде сжатых тегов или семантических id, как в рекомендательных системах, достаточно, а глубокая персонализация — отдельная задача обучения с явным сигналом отличия пользователя от похожих. Если выводы устоят, рецензенты персонализационных площадок в ближайшие месяцы могут начать требовать строгие контроли по умолчанию, и работы с полной подменой истории станут уязвимым местом на ревью.
Почему это важно для пользователей
Если вы собираете агентов или ассистентов с памятью о пользователе, из работы можно напрямую забрать чек-лист корректной оценки и прогнать через него собственные фичи — так вы узнаете, где эффект персонализации настоящий, а где лишь совпадение тем. Чужие бенчмарки стоит читать осторожнее: цифры вида «персонализированная модель лучше на N п.п.» нередко описывают матчинг тем, а не личную адаптацию, и чек-лист даёт готовый способ это проверить. Сама статья занимает 21 страницу и доступна на arXiv, а авторы будут на NeurIPS в Париже, так что вопрос можно задать лично. Бонусом в том же посте есть короткие спойлеры двух других статей автора: про мониторинг агентов и перенос голов между энкодерами.
Что пока неизвестно / ограничения
Ключевые числа получены на одной задаче — категоризации новостей LaMP-2 с дискретными метками, где утечка тем доминирует: вывод о том, что фону пользователя достаточно тегов или семантических id, выведен именно из классификации с явными метками, и его перенос на диалоговые и агентные сценарии преждевременен без независимых репликаций на других задачах и моделях. Это воркшоп-статья: у неё нет API, прайсинга и данных о латентности, поэтому речь идёт о методологии оценки, а не об изменении продуктов. Наконец, перспективные сценарии вроде смещения норм отчётности и расщепления персонализации на дешёвый «фон» и глубокую адаптацию с явным сигналом — интерпретации, а не установленные факты.
Источники
Автор
Look at AI, редакция