Группа исследователей из Германии, в состав которой входит Mario Fritz, 26 октября 2026 года опубликовала препринт «Style over Substance? Linguistic Bias in LLM-based Peer Review» (arXiv:2610.35254) о языковом смещении в ИИ-рецензировании. Авторы показали, что крупные языковые модели, выступающие в роли научных судей, систематически ставят более высокие оценки статьям, написанным в уверенном, категоричном стиле, даже когда содержание идентично. Самым смещённым судьёй оказался Claude Sonnet 4.6, который в 21% случаев принимал «уверенную» версию той же работы и отклонял «осторожную», тогда как противоположный исход встречался лишь в 2,8% случаев. По данным авторов, при пороге принятия 4,5 из 10 одной смены тона бывало достаточно, чтобы статья пересекала границу accept/reject.

image
image

Что произошло

В рамках работы авторы взяли 504 реальные подачи конференции ICLR 2026 и с помощью Claude Opus 5 переписали каждую в двух стилистических версиях, «уверенной» и «осторожной», сохранив научное содержание неизменным. Такой парный дизайн изолирует эффект стиля от эффекта содержания, поэтому возникшие различия в оценках можно уверенно отнести именно к тону текста. В роли судей выступили шесть моделей: GPT-5.5, Claude Sonnet 4.6, Gemini 3.5 Flash, Gemma 3, Qwen3 VL и GLM 4.7, и все шесть выставили «уверенной» версии систематически более высокие баллы. Направление смещения при этом совпало у всех протестированных моделей, то есть уверенный тон повышал оценки независимо от вендора.

Контекст

Развитие ИИ-рецензирования связано с тем, что конференции, прежде всего ML-события вроде ICLR, столкнулись с взрывным ростом числа подач, отчасти спровоцированным ИИ-инструментами, и организаторы начали экспериментировать с автоматизированным триажем и ассистентами для рецензентов. Паттерн LLM-as-a-Judge давно вышел за пределы академической сферы: языковые модели используются как судьи в оценочных пайплайнах, модерации и сравнительных бенчмарках, поэтому документированное смещение затрагивает не только научное рецензирование. Авторы склонны объяснять одинаковое направление смещения у всех шести моделей общим тренировочным пайплайном assistant-моделей, где уверенная и энергичная подача обычно поощряется, однако это интерпретация, требующая проверки. Отдельно стоит отметить строгость дизайна исследования: парные переписи на реальных подачах дают более чистую оценку смещения, чем типичные опросные методики, поскольку каждая статья сравнивается со своей же переработанной версией.

Почему это важно для индустрии

Для индустрии работа описывает системный баг целого класса судейских моделей: дефолтные версии шести вендоров оказались не готовы к оценочным задачам без стресс-тестов и донастройки, поэтому смена одной модели на другую проблему не решает. Пайплайны, где судьба текста или объекта решается одиночным ИИ-судьёй, вероятно, систематически завышают оценки категоричным материалам, а их численные вердикты стоит считать стилистически смещёнными, пока не проведена калибровка. Авторы указывают путь исправления — специализированную донастройку судей методами fine-tuning или LoRA на калиброванные шкалы оценок. Похоже, что парные content-preserving переписи станут стандартной секцией eval-наборов и bias-пакетов, а калибровка reviewer-моделей выделится в отдельное направление, и тот, кто первым встроит такую проверку в свой воркфлоу, получит доверие пользователей и отстройку от тонких обёрток поверх «голых» моделей. Организаторам конференций эти данные дают основание не запускать ИИ-триаж подач без предварительных стресс-тестов, поскольку ценой ошибки становится целостность peer review.

Почему это важно для пользователей

Для читателя вывод применим к любой «судейской» задаче: если вы используете языковую модель для оценки текстов, ревью кода, отбора резюме или модерации, её вердикт может зависеть от уверенности формулировок, а не от сути материала. Минимальная проверка доступна сразу и почти бесплатно: возьмите представительную выборку ключевых текстов, сгенерируйте для каждой пару переписей в «уверенном» и «осторожном» тоне без изменения смысла, прогоните обе версии через свою судейскую модель и сравните финальные баллы и вердикты. Авторы рекомендуют тестировать модели на сохраняющих смысл переписях перед тем, как доверять их числам, и трактовать «enthusiasm» модели как системный баг, а не признак качества. Если оценки судьи расходятся на идентичных по смыслу переписях, значит оценка пока измеряет стиль, и опираться на неё в решениях, влияющих на людей, не стоит.

Что пока неизвестно / ограничения

Результаты опубликованы в виде препринта, поданного 26.10.2026 и ещё не прошедшего полноценное peer review, поэтому цифры следует считать предварительными. Работа охватывает одну конференцию, ICLR 2026, и один тип текста, научные статьи, а переписи в обоих тонах сгенерировала единственная модель, Claude Opus 5, так что исследована лишь часть возможного стилистического спектра. Прямая проверка обобщаемости на другие жанры, например README, питчи или бизнес-документацию, в эксперименте не проводилась. Объяснение смещения общим тренировочным пайплайном assistant-моделей остаётся гипотезой, требующей отдельной проверки.

Источники

Автор

Look at AI, редакция