OpenAI совместно с биотехкомпанией Ligo представила BioBasicsBench — публичный бенчмарк из 100 задач по рутинной «мокрой» лабораторной работе, где ИИ-агент должен интерпретировать сырые данные реальных экспериментов: гели и блоты, протоколы, таблицы приборов, микроскопию, видео и фотографии. На максимальном уровне рассуждений xhigh лучший результат показал GPT-6 Astra — 66,7% средней доли рубричных баллов, тогда как остальные протестированные модели набрали от 31,2% до 62,0%. Материалы, необходимые для независимой проверки, пока не раскрыты.

image
image

Что произошло

Бенчмарк охватывает пять областей рутинной «мокрой» лабораторной работы: белковые методы, микроскопию и цитометрию, количественные анализы, нуклеиновые кислоты и молекулярное клонирование. Агенту дают не вопросы викторины, а сырые артефакты экспериментов, которые нужно прочитать и интерпретировать: гели и блоты (31 задача), протоколы и лабораторные записи (27), таблицы и экспорты приборов (20), фото рабочего стола (18), микроскопию (14), экраны приборов (13), файлы секвенирования (12), видео протоколов (7) и чашки Петри (7). На максимальном уровне рассуждений xhigh результаты распределились так: GPT-6 Astra — 66,7% при 95% доверительном интервале 60,3–73,1%, GPT-6.1 Sol — 62,0%, GPT-5.6 Sol — 43,8%, GPT-6 Luna — 38,3%, GPT-5.5 — 35,4%, GPT-5.4 — 33,2%, GPT-5.2 — 31,2%. Всего собрано 18 500 результатов: 37 конфигураций на 100 задачах по 5 попыток каждая. Балл считается как средняя доля баллов по рубрике с частичным начислением, а не как доля полностью решённых задач.

Контекст

До сих пор работа агентов с сырыми лабораторными данными оставалась внутренней метрикой компаний: публичные тесты проверяли биологические знания, а не умение читать материалы реальных экспериментов. BioBasicsBench первым делает это открыто: в задачи заложены провалы опытов и ситуации с нехваткой доказательств, и сильные конфигурации демонстрируют паттерн проверки достаточности данных — например, отказываются от вывода, когда флуоресцентные каналы пересекаются и однозначный ответ невозможен. Разрыв между поколениями моделей резкий: две самые сильные конфигурации подходят к рубежу в две трети возможных баллов, остальные держатся ближе к трети. Как объяснение обсуждается нативная мультимодальность — умение напрямую читать фотографии, видео и экраны приборов; это интерпретация наблюдаемого разрыва, а не фактор, выделенный внутри бенчмарка.

Почему это важно для индустрии

Для разработчиков агентов методология оценки здесь почти ценнее итоговых цифр: пять попыток на задачу для измерения вариативности, рубрики с частичным зачётом, кейсы с испорченными данными вроде неправильной подписи контроля и задания, где правильное поведение — не делать вывод без достаточных доказательств. Такой шаблон можно переносить в собственные тест-сеты: включать «сырые» форматы вроде фотографий, скриншотов приборов и видео протоколов, а наряду с точностью мерить и стоимость вывода в выходных токенах на задачу. Сигнал по стоимости заметный: GPT-6 Astra на xhigh при 66,7% тратит 4 704 выходных токена на задачу против 9 099 у GPT-5.6 Sol, то есть примерно на 48% меньше расход при более высоком балле. Сам бенчмарк продуктом не является и деплоить на его основе нечего, зато 100 задач дают бесплатную карту того, какие лабораторные операции — от чтения гелей до разбора выгрузок приборов — агентам уже по силам интерпретировать.

Почему это важно для пользователей

Лидерборд BioBasicsBench удобно отслеживать как индикатор зрелости ИИ-агентов для науки: обновления моделей теперь можно сравнивать по умению работать с данными реальных экспериментов, а не только по разговорным навыкам. Сами задачи подсказывают, какая лабораторная рутина со временем может переехать к ИИ-ассистентам: расшифровка гелей и блотов, автопроверка протоколов и метаданных, чтение выгрузок приборов. Реалистичная роль таких агентов сегодня — ассистент с обязательной проверкой человеком, а не автономный лаборант. Вероятный, но пока только прогнозный сценарий: если OpenAI откроет материалы бенчмарка, появятся независимые прогоны конкурирующих моделей и его реплики для химии и материаловедения, а первыми практическими продуктами могут стать автоматическая проверка протоколов и метаданных эксперимента и помощь в интерпретации гелей.

Что пока неизвестно / ограничения

Полные рубрики, сырые данные и код не опубликованы, поэтому независимая репликация результатов пока невозможна. 95% доверительный интервал лидера шириной ±6,4 процентного пункта означает, что отставание GPT-6.1 Sol на 4,7 пункта по доступным данным статистически не оценивается — интервалы для остальных моделей в источнике не приведены. Сравнение экономичности охватывает единственную пару конфигураций, GPT-6 Astra и GPT-5.6 Sol на xhigh, и только выходные токены, так что вывод «сильнее значит дешевле» экстраполировать на весь рынок нельзя. Наконец, заголовочные 66,7% не следует читать как «две трети лаборатории автоматизированы»: это частичный зачёт по рубрикам, а не доля полностью решённых экспериментов, а сценарии про публикацию кода и реплики для других наук — прогнозы, а не установленные факты.

Источники

Автор

Look at AI, редакция