🧪 BioBasicsBench: ИИ-агентов проверили в «мокрой» лаборатории
OpenAI и биотехкомпания Ligo выпустили 100 задач, где агент интерпретирует сырые данные: гели и блоты (31), протоколы и записи (27), таблицы и экспорты приборов (20), фото, микроскопию и видео. Лучший балл при максимальном рассуждении — 66,7% у GPT-6 Astra; 62,0% у GPT-6.1 Sol и 43,8% у GPT-5.6 Sol.
🌍 Первый публичный бенчмарк измеряет не знание биологии, а работу с сырыми данными и провалами экспериментов — метрика для «лабораторных» ИИ-агентов.
👤 Лидерборд BioBasicsBench — индикатор зрелости научных ИИ-агентов, но 66,7% — частичные баллы, независимой репликации нет, а полные рубрики, сырые данные и код OpenAI не раскрыла. Например, Astra отклонила контроль клонирования с ошибочной подписью «LB Kan50».
Источник 1: https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science/ Источник 2: https://kingy.ai/blog/biobasicsbench-openai-wet-lab-ai-guide/