🤖 OpenAI выложила бенчмарк MultiLangBench и проверила GPT-6 на редких языках
19 октября OpenAI открыла бенчмарк MultiLangBench на GitHub (Apache-2.0): модель без интернета пишет с нуля движок БД, совместимый с SQLite 3.40.1, и его проверяют 24 000 тестов из TCL-набора SQLite. GPT-6 Astra на максимальном уровне рассуждений прошла в среднем 87,4% тестов по 20 языкам против 26,8% у GPT-5.6 Sol.
🌍 На COBOL и Fortran держится критическая инфраструктура: по данным IBM, на COBOL приходится 95% транзакций банкоматов, а Fortran — в прогнозах погоды и безопасности ядерных реакторов. Проверяемо писать и переносить такой код снижает стоимость миграции при нехватке специалистов.
👤 Бенчмарк открыт, его можно запустить и воспроизвести. Закрытый миграционный тест OpenAI почти исчерпан — нужны новые, более строгие оценки.
Источник 1: https://openai.com/index/low-resource-programming-languages/ Источник 2: https://github.com/openai/MultiLangBench