Риск семантического коллапса в генерации кода через LLM

Новое исследование выявило явление «вредного семантического коллапса», когда языковые модели при нечетких запросах выдают один неверный, но логически связный вариант кода вместо демонстрации неоднозначности.

Автор Sergey KostenchukОпубликовано 2026-07-06Обновлено 2026-07-08

2026-07-06 Исследования

🤖 Риск семантического коллапса в генерации кода через LLM

Исследование показало, что LLM при генерации кода часто демонстрируют «вредный семантический коллапс» (Detrimental Semantic Collapse). Вместо того чтобы выдавать разные варианты при нечетких запросах, модели выбирают одну конкретную, но неверную интерпретацию. В бенчмарках HumanEval и MBPP уровень такого коллапса составил до 10%, а в LiveCodeBench достигал 32%.

🌍 Текущие методы оценки корректности ИИ полагаются на вариативность ответов как сигнал о двусмысленности запроса. Если модель «схлопывается» в один неверный, но логически связный вариант, это делает ошибки скрытыми и опасными для продакшена.

👤 Не стоит доверять стабильному результату от ИИ как признаку точности. Одинаковые ответы на нечеткие задачи могут быть признаком того, что модель просто «угадывает» неверно, не осознавая неоднозначности инструкции.

Источник 1: https://arxiv.org/abs/2607.01953

Источники