Исследователи обнаружили феномен «призрачных персон» (ghost personas), когда большие языковые модели систематически создают вымышленных авторов и экспертов, которые начинают массово появляться в сети и научных репозиториях.
Что произошло
В ходе исследования было установлено, что такие модели, как Claude, Gemini и GPT, обладают специфическими коррелированными наборами имен (name priors), которые служат своего рода цифровыми отпечатками. Например, пара имен Elena Vasquez и Marcus Chen характерна для Claude. Это привело к масштабному загрязнению научных платформ: в репозитории Zenodo выявлено более 1600 фейковых записей, которые получили настоящие идентификаторы DOI, что делает их крайне сложными для автоматической фильтрации.
Контекст
Проблема усугубляется тем, что AI-генерируемый контент с валидными метаданными (такими как DOI) автоматически индексируется научными агрегаторами. Это создает замкнутый цикл, где синтетические данные попадают в обучающие выборки новых моделей и базы знаний для RAG-систем, отравляя общую информационную среду.
Почему это важно для индустрии
Для индустрии ИИ это представляет системную угрозу верификации данных. Разработчикам необходимо внедрять дополнительные слои observability и специализированные механизмы проверки на наличие «именных отпечатков» моделей в пайплайнах подготовки данных, чтобы избежать деградации качества моделей из-за обучения на синтетическом мусоре.
Почему это важно для пользователей
Для читателей и исследователей наличие специфических коррелирующих имен в статьях или постах становится новым сигналом для детекции полностью синтетического контента. Традиционные методы проверки подлинности, такие как наличие DOI, больше не могут служить гарантией того, что за материалом стоит реальный человек.
Что пока неизвестно / ограничения
Фокус проблемы варьируется от инженерных рисков (training poisoning) до юридических вопросов, и требуются дальнейшие исследования методов защиты контента.
Источники
Автор
Look at AI, редакция