Новое исследование ученых из французских и итальянских университетов выявило опасный эффект «когнитивной капитуляции»: при использовании рекомендаций ИИ точность человеческих суждений падает с 27% до 9%, в то время как ложная уверенность пользователей в правильности ответов возрастает в 2.5 раза.
Что произошло
В ходе эксперимента с использованием модели Step 3.5 Flash, которая намеренно допускала ошибки в деталях, ученые зафиксировали резкое снижение точности человеческих решений. Параллельно с падением точности, уверенность людей в своих ответах подскочила с 30% до 76%. Кроме того, готовность участников признавать собственное незнание сократилась с 44% до критических 3%.
Контекст
Исследование фокусируется на феномене, когда избыточная уверенность нейросетей подавляет критическое мышление. Модели, предоставляющие ответы в директивной и уверенной манере, заставляют пользователей переходить от активной проверки информации к пассивному принятию утверждений ИИ как истины.
Почему это важно для индустрии
Для разработчиков ИИ-систем это сигнал о необходимости пересмотра подходов к проектированию интерфейсов и выдаче ответов. Текущий тренд на максимизацию уверенности моделей может вредить пользователям. Отрасли может потребоваться переход от паттернов прямого ответа к механизмам «калиброванной уверенности» (calibrated confidence) и внедрению элементов, стимулирующих критическое осмысление, таких как Socratic prompting или отображение неопределенности.
Почему это важно для пользователей
Пользователям следует проявлять осторожность и не использовать ИИ как единственный источник истины. Существует риск создания иллюзии собственной компетентности: опираясь на ошибочные данные нейросетей, вы можете быть крайне уверены в правильности своих действий, совершая при этом грубые ошибки.
Источники
Автор
Look at AI, редакция