🤖 Wolfram запустил бенчмарк для LLM на Wolfram Language
Проект оценивает способность моделей генерировать код, разделяя проверку на синтаксическую корректность и функциональную точность решения задач. Лидерами по точности стали Claude Fable 5 и Claude Opus 4.7 от Anthropic, а также Gemini 3 Pro от Google.
🌍 Бенчмарк выявляет разрыв между правильным синтаксисом и реальной способностью моделей решать сложные логические задачи, что критически важно для развития методов reasoning.
👤 Даже передовые модели пока не справляются со сложным программированием на 100%, поэтому выбор нейросети теперь сильно зависит от выбранного режима работы (thinking/reasoning).
Источник 1: https://www.wolfram.com/llm-benchmarking-project/