Компания Wolfram запустила специализированный проект по бенчмаркингу больших языковых моделей (LLM), направленный на оценку их способности генерировать корректный код на языке Wolfram Language. Тестирование фокусируется на двух ключевых измерениях: синтаксической корректности и функциональной точности решения математических и логических задач.
Что произошло
Согласно данным от 17 июля 2026 года, лидерами по функциональной точности в проекте стали модели Claude Fable 5 (73.3%) и Claude Opus 4.7 (72.5%) от Anthropic, а также Gemini 3 Pro от Google (71.2%). Проект выявляет существенный разрыв между умением моделей писать синтаксически правильный код и их реальной способностью решать задачи логически верно.
Контекст
Традиционные тесты часто фокусируются на языковой схожести или простом соблюдении правил синтаксиса. Бенчмаркинг Wolfram предлагает более строгий подход, используя вычислительный движок для проверки того, действительно ли сгенерированный код выполняет поставленную задачу, что позволяет классифицировать модели по их реальному потенциалу к программному рассуждению (reasoning).
Почему это важно для индустрии
Результаты подчеркивают необходимость перехода индустрии от простых текстовых LLM к специализированным моделям с продвинутыми механизмами рассуждения (reasoning/thinking modes). Для разработчиков это открывает нишу для создания систем верификации кода и 'evaluator-агентов', которые используют математические движки для автоматической проверки результатов работы других моделей.
Почему это важно для пользователей
Даже флагманские решения, такие как Claude, Gemini и GPT-5.5, на данный момент не обеспечивают 100% точности в сложном программировании. Для пользователей это означает, что выбор модели теперь критически зависит от режима работы (thinking/reasoning), а инженерам необходимо внедрять дополнительные этапы валидации кода (execution-based evals) в свои рабочие процессы.
Что пока неизвестно / ограничения
Спектр оценок результатов варьируется в зависимости от фокуса экспертов: от технической методологии до практического применения соло-разработчиками, что указывает на многогранность влияния бенчмарка.
Источники
Автор
Look at AI, редакция