19 октября 2026 года OpenAI опубликовала отчёт о работе языковых моделей на редких языках программирования и открыла бенчмарк MultiLangBench на GitHub под лицензией Apache-2.0. В этом тесте модель без доступа в интернет должна с нуля написать движок базы данных, совместимый с SQLite 3.40.1, а корректность реализации проверяет настоящий SQLite на 24 000 тестов, переделанных из штатного TCL-набора SQLite. На максимальном уровне рассуждений GPT-6 Astra прошла в среднем 87,4% проверок по 20 языкам, включая COBOL и Fortran, против 26,8% у предыдущего поколения GPT-5.6 Sol. Одновременно выяснилось, что закрытый тест миграции кода с COBOL почти исчерпан: GPT-6.1 Sol набрала на нём 97,9% при высоком уровне рассуждений, поэтому для различения сильных моделей понадобятся более строгие оценки.

image

Что произошло

OpenAI 19 октября 2026 года выпустила отчёт «Advancing coding in low-resource programming languages» и одновременно выложила бенчмарк MultiLangBench в репозиторий openai/MultiLangBench под лицензией Apache-2.0. Задача в нём детерминированная: модель без доступа в интернет пишет с нуля движок базы данных, совместимый с SQLite 3.40.1, а реализацию проверяет настоящий SQLite на 24 000 тестов, переделанных из его собственного TCL-набора; в итоговой оценке используется выборка из 272 тестов. На максимальном уровне рассуждений GPT-6 Astra прошла в среднем 87,4% тестов по 20 языкам — среди них COBOL, Fortran, OCaml и Visual Basic, — тогда как GPT-5.6 Sol показала лишь 26,8%. По отдельным языкам разрыв того же порядка: на COBOL 72,1% против 10,9%, на Fortran 83,5% против 21,4%. Отдельный закрытый тест миграции — перенос кода с COBOL на C++, Java, Kotlin, Python или Rust с побайтовым совпадением вывода — дал 86,6% у GPT-6.1 Sol при низком уровне рассуждений и 97,9% при высоком, тогда как GPT-5.6 Sol набрала на нём 5,4%; OpenAI признала, что этот тест близок к потолку и дальше перестаёт различать сильные модели.

Контекст

Редкие, «low-resource» языки — это не музейная экзотика, а рабочая инфраструктура. По данным IBM, на которые опирается OpenAI, на COBOL приходится 95% транзакций банкоматов и 80% картных платежей, а Fortran используется в прогнозах погоды и расчётах безопасности ядерных реакторов. Инженеров, способных читать и менять такой код, остаётся все меньше, стоимость миграции растёт, а ошибка способна парализовать платёжную систему. До этого релиза публичных бенчмарков, которые проверяли бы работу моделей на таких языках, практически не существовало. Методологическая особенность MultiLangBench именно в этом: корректность кода подтверждает не языковая модель-судья и не экспертная оценка, а настоящий SQLite на десятках тысяч функциональных тестов, что существенно сужает пространство для интерпретации результата в пользу вендора.

Почему это важно для индустрии

Для индустрии смысл релиза не в рекорде GPT-6, а в сдвиге структуры рынка легаси. Проверяемая на тестах SQLite способность моделей писать и переносить код на COBOL и Fortran выбивает фундамент у привычной модели «редкие специалисты плюс высокая маржа» и удешевляет миграцию критических систем. Одновременно дешевеет сам модельный слой: инференс GPT-6 Luna примерно на 78% дешевле — $0.77 против $3.48, что делает экономически осмысленной схему пилота миграционного агента, где дешёвый низкорассуждающий проход сочетается с дорогим высокорассуждающим проходом для сложных случаев. Открытый под Apache-2.0 MultiLangBench — ещё и готовый паттерн для evals-команд: агент генерирует код, а проверяет его реальный тест, а не субъективный судья, поэтому репозиторий можно встроить в собственный набор оценок и сравнивать модели на редких языках независимо от вендора. Для интеграторов с легаси-практикой это сигнал пересмотреть позиционирование до того, как это сделают конкуренты.

Почему это важно для пользователей

Читателям и разработчикам событие даёт три практических ориентира. Первый: бенчмарк лежит в открытом репозитории и его можно склонировать и запустить на модели из своего стека, получив независимую точку отсчёта по редким языкам вместо доверия к пресс-релизу. Второй: сильная модель — ещё не готовый мигратор; результаты на отдельных языках заметно ниже среднего, а бенчмарк измеряет одну конкретную задачу, поэтому доверять автоматический перенос промышленных систем с данными сегодня нельзя — максимум пилоты на вспомогательных задачах вроде переписывания отдельных модулей или генерации тестов. Третий: закрытый миграционный тест почти исчерпан, поэтому стоит ждать сторонних прогонов MultiLangBench и появления более строгих оценок — именно по независимым воспроизведениям, а не по цифрам вендора, имеет смысл сравнивать модели для реальных проектов.

Что пока неизвестно / ограничения

Итоговая оценка по бенчмарку строится на выборке из 272 тестов из 24 000 доступных, а методика формирования этой выборки в источниках не раскрыта — без неё нельзя отличить репрезентативный срез от подобранного; это оговорка-осторожность, а не обвинение. Ключевое сравнение поколений сделано на максимальном уровне рассуждений, поэтому из открытых материалов не разделить вклад собственно обучения и вклад вычислений на этапе инференса. Закрытый миграционный тест не опубликован, проверить его методологию со стороны невозможно. Сам бенчмарк измеряет одну детерминированную задачу — написание с нуля движка, совместимого с SQLite 3.40.1, — а не промышленную миграцию реальных систем с данными и живыми интеграциями. О коммерческих внедрениях миграции источники не сообщают, и на COBOL значительная часть проверок всё ещё не проходит.

Источники

Автор

Look at AI, редакция