Исследование, опубликованное в журнале Nature, показало, что модели ChatGPT, Claude и Gemini генерируют более благоприятные ответы о Китае и других авторитарных режимах, когда запросы формулируют на соответствующих языках. Причиной является структурный перекос тренировочных данных: государственные медиа занимают непропорционально большое место в языковых корпусах авторитарных стран.
Что произошло
Авторами статьи в Nature (Waight et al., DOI: 10.1038/s41586-026-10506-7) было проведено исследование языкового смещения в моделях OpenAI, Anthropic и Google. Тесты показали, что один и тот же политический вопрос, заданный на английском и китайском, возвращает принципиально разные ответы. Аналогичный паттерн подтвердился для 37 стран с ограниченной свободой СМИ. Отдельный отчёт Совета по надзору Meta зафиксировал уровень отказов чат-моделей на политически чувствительные промпты на уровне 45%, причём Китай стал одним из главных триггеров.
Контекст
Корневая причина смещения лежит на уровне pre-training data, а не fine-tuning или RLHF. Китайские государственные СМИ — агентство Xinhua и приложение Xuexi Qiangguo — составляют непропорционально большую часть китайскоязычного корпуса для обучения. В датасете CulturaX государственные документы встречаются в 41 раз чаще, чем статьи китайской Википедии. Проблема не привязана к конкретной архитектуре: все три протестированные модели — ChatGPT, Claude и Gemini — демонстрируют одинаковый паттерн, что подтверждает масштабность системной проблемы композиции данных.
Почему это важно для индустрии
Для индустрии это первое эмпирическое доказательство в рецензируемом журнале, что государственное управление медиа-пространством напрямую определяет выходные данные LLM через состав тренировочных корпусов. OpenAI, Anthropic и Google столкнулись с требованием пересмотреть стратегии фильтрации и балансировки данных. Продуктовым командам необходимо внедрять cross-lingual bias checks в eval-пайплайны: тестовые наборы должны включать одинаковые вопросы на разных языках с оценкой консистентности ответов. Без этого невозможна валидная оценка моделей в мультиязычных продакшн-средах. Ожидается появление специализированных бенчмарков для кросс-языкового bias по аналогии с MMLU.
Почему это важно для пользователей
Язык промпта оказался не нейтральным параметром, а фактором, влияющим на содержание ответа. Пользователи ChatGPT, Claude и Gemini получают разные ответы на одни и те же политические вопросы в зависимости от того, на каком языке они задают запрос. Для читателей это означает: при работе с чувствительными темами необходимо проверять ответы на нескольких языках, чтобы выявить скрытое смещение. Продуктовые команды могут проектировать мультиязычные чекпоинты — агенты, которые задают один вопрос на разных языках и сравнивают ответы.
Что пока неизвестно / ограничения
Утверждение, что «язык промпта действует как скрытый параметр, влияющий на содержание ответа», требует осторожности: исследование Nature сравнивает ответы на разных языках, но не доказывает, что смещение обусловлено исключительно языком запроса. Возможно, разные модели или их версии участвовали в тестах на разных языках. Исследователи признают, что компании-разработчики мало делают для исправления этого смещения — но пока неясно, какие конкретные меры планируются.
Источники
- State media control influences large language models (Nature)
- Chinese Censorship Is Leaking Into Answers From American AI (WSJ)
- AI Chatbot Responses Mirror Government Censorship — Meta Oversight Board (CNET)
Автор
Look at AI, редакция