Новое исследование выявило критическую проблему в работе больших языковых моделей (LLM) при генерации программного кода. Вместо того чтобы демонстрировать вариативность ответов при получении нечетких инструкций, модели часто демонстрируют «вредный семантический коллапс» (Detrimental Semantic Collapse), выбирая одну конкретную, но неверную интерпретацию задачи.
Что произошло
В ходе исследования было установлено, что при столкновении с недоспецифицированными (underspecified) задачами LLM склонны «схлопываться» в один логически связный, но семантически ошибочный вариант. Уровень такого коллапса составил до 10% в бенчмарках HumanEval и MBPP, а в LiveCodeBench этот показатель достигал критических 32%.
Контекст
Традиционные методы оценки качества ИИ часто полагаются на вариативность ответов как индикатор неоднозначности запроса. Если модель выдает разные варианты решения, это сигнализирует о том, что инструкция допускает несколько трактовок. Однако феномен семантического коллапса подрывает эту логику, создавая иллюзию точности там, где модель на самом деле просто неверно интерпретировала задачу.
Почему это важно для индустрии
Для разработчиков ИИ и индустрии в целом это означает необходимость радикального пересмотра методологий тестирования. Нельзя полагаться исключительно на метрики точности вроде pass@k, так как они не учитывают скрытые ошибки интерпретации. Требуется внедрение более жестких методов валидации, которые анализируют не только корректность кода, но и семантическое разнообразие ответов на нечеткие промпты.
Почему это важно для пользователей
Разработчикам и пользователям следует проявлять осторожность: высокая стабильность и единообразие ответов ИИ не являются гарантами их правильности. Одинаковые, уверенно выглядящие результаты при выполнении нечетких задач могут быть признаком того, что модель «угадывает» неверный путь, не осознавая неоднозначности инструкции, что создает скрытые риски при автоматизации рабочих процессов.
Источники
Автор
Look at AI, редакция