🤖 Тесты персонализации LLM завышают эффект вдвое
Соавтор статьи «Not Your Diary, Just Your Topic: Grading the Wrong-User Control» (arXiv 2611.09609, воркшоп PALM NeurIPS 2026) едет с ней в Париж. Проверка через подмену истории на чужую сконфужена: меняются и «личность», и темы. На LaMP-2 собственная история даёт лишь +2,3 п.п., а приём «убрать историю только на оценке» раздувает выигрыш до 4,8 п.п.
🌍 Честная оценка требует невиданных пользователей и топик-совместимых контролей: 86% разрыва «своя vs чужая история» объясняются одними метками категорий, а у невиданных преимущество над похожей историей падает до незначимых 0,65 п.п.
👤 Собираете агентов с памятью? Забирайте чек-лист корректной оценки и осторожнее читайте чужие цифры «лучше на N п.п.» — часть выигрыша может быть просто матчингом тем. Работу на 21 страницу можно прочитать заранее или найти авторов на NeurIPS.
Источник 1: https://arxiv.org/abs/2611.09609