Профессор экономики Роберто Серрано из Брауновского университета столкнулся с подозрениями в массовом использовании генеративного ИИ студентами курса «Welfare Economics and Social Choice Theory». Аномальная разница в результатах между домашними заданиями и очным экзаменом указывает на системное нарушение академической честности.
Что произошло
В ходе курса «Welfare Economics and Social Choice Theory» средний балл за домашний промежуточный экзамен составил аномальные 96%, тогда как при исторической норме он обычно варьируется в пределах 65–80%. При этом на очном финальном экзамене средний балл резко упал до 48,6%. Профессор Серрано выявил признаки использования ИИ в виде неестественно сформулированных логических аргументов в математических доказательствах.
Контекст
Ситуация демонстрирует растущую неэффективность традиционных методов оценки знаний, таких как домашние работы, в эпоху доступности продвинутых LLM. Способность моделей генерировать сложные математические тексты создает разрыв между выдачей правдоподобного результата и реальным пониманием материала студентом.
Почему это важно для индустрии
Для индустрии ИИ этот кейс подчеркивает критическую проблему верификации компетенций. Он создает запрос на разработку специализированных инструментов оценки (evals), способных выявлять паттерны «галлюцинаторной логики» и специфические маркеры неестественно сконструированных аргументов (contrived arguments). Также это стимулирует переход к архитектурам «Proof of Process», где оценивается не только финальный ответ, но и лог рассуждений пользователя.
Почему это важно для пользователей
Студентам и академическому сообществу следует учитывать, что даже сложные математические доказательства, сгенерированные ИИ, оставляют характерные следы неестественной логики, которые могут быть обнаружены экспертами. Это может привести к ужесточению правил контроля знаний и возврату к более строгим очным форматам экзаменов.
Что пока неизвестно / ограничения
В представленных данных не указано, были ли применены официальные санкции к студентам и как именно университет планирует менять методологию аттестации в долгосрочной перспективе.
Источники
Автор
Look at AI, редакция