Подкастер Дваркеш Патель потратил около 20 000 долларов на API-кредиты и провёл 386 партий Blood on the Clocktower — усложнённой версии «Мафии», где ИИ-моделям приходится обманывать друг друга и вскрывать обман. В турнире 11 моделей 2026 года первое место заняла GPT-6 Astra от OpenAI с общим рейтингом Elo 1859, а Claude Opus 5.5 от Anthropic оказалась только пятой со 1549 баллами. Код, рейтинг Bradley–Terry и лидерборд опубликованы открыто на clocktowerbench.com, поэтому каждую цифру можно проверить.

image
image

Что произошло

Схема турнира отличается от обычного стола: одну модель назначали капитаном всего лагеря «добрых», вторую — лагеря «злых», а вместо живого ведущего работала программная таблица вероятностей. Результат победительницы раскладывается на две под-оценки: 1940 за выявление лжи и 1806 за её создание, у Claude Opus 5.5 те же показатели — 1500 и 1585, то есть отставание видно в обеих ролях игры. Характерные эпизоды: GPT-6 Astra, играя за «злых», добровольно сдала на казнь собственного союзника-миньона, чтобы демон выдавал себя за честного следователя, тогда как Opus 5.5 за «добрых» принимала чужие заявления на веру там, где GPT перепроверяла улики. Разбор турнира вышел в подкасте Dwarkesh 5 ноября 2026 года.

Контекст

Blood on the Clocktower — усложнённая версия «Мафии» со скрытыми ролями и многоходовыми обменами заявлениями, в которой нельзя заучить готовый ответ, поэтому формат хорошо подходит для оценки агентного поведения, не покрываемого привычными метриками. Методология турнира специально контролируемая: одна модель ведёт целый лагерь, а ведущего заменяет программа — это убирает вариативность человека, но делает результат функцией промпт-архитектуры организаторов. Это первый публичный турнир фронтир-моделей 2026 года на социальную дедукцию с открытой методологией и рейтингом, рассчитанным по методу Bradley–Terry.

Почему это важно для индустрии

Для AI-индустрии это первый публичный численный профиль поведения фронтир-моделей в многоагентной среде: многоагентная координация, многоходовое планирование и устойчивость к дезинформации получили Elo-оценки. Различия видны на уровне механики рассуждений: команды на моделях OpenAI к четвёртому дню оценивали вероятность реального демона примерно в 46%, тогда как команды на моделях Anthropic — около 26%, то есть байесовское обновление убеждений впервые измерено напрямую. Под-рейтинги по выявлению и созданию лжи применимы инженерно, например в роутинге: проверяющих сабагентов имеет смысл ставить на модели с высоким показателем выявления лжи. Открытый каркас можно склонировать прямо сейчас, прогнать собственных агентов в роли «добрых» против «злых» персон и встроить сценарии с намеренной дезинформацией в процедуру выбора или регрессионной проверки модели. При этом на serving-стек, латентность и стоимость прод-инференции событие напрямую не влияет: это eval-каркас, а не инструмент развёртывания.

Почему это важно для пользователей

Читателям турнир даёт наглядное сравнение фронтир-моделей 2026 года на задаче, где ответ нельзя заучить: GPT-6 Astra выигрывает у Claude Opus 5.5 примерно в 82% партий, а за год Elo моделей вырос примерно на 651 балл. Лидерборд, методология и конкретные партии открыты, поэтому любую цифру можно проверить самостоятельно, а сдвиги таблицы — отслеживать с каждым новым релизом. Для личного выбора модели под агентные задачи это недорогой способ получить сопоставимую оценку поведения без развёртывания собственной тестовой инфраструктуры.

Что пока неизвестно / ограничения

Есть важные оговорки. Elo-шкалы не сравнимы между бенчмарками: масштаб зависит от пула участников и версии методологии, поэтому вывод, будто мягкие агентные навыки растут тем же темпом, что код и математика, из прибавки примерно в 651 балл Elo за год выглядит сверхинтерпретацией. Это результат одного турнира одного организатора: перенос оценок на попарные многоагентные сценарии и на игру против людей не доказан, а итог зависит ещё и от промпт-архитектуры команд. Показанные партии с сожжённым миньоном и доверчивой Opus 5.5 — иллюстративные эпизоды: рейтинг служит данными, но сама демонстрация собрана выборкой организатора. Ожидаются и критические разборы методологии — по доверительным интервалам, чувствительности к промптам и вариациям правил.

Источники

Автор

Look at AI, редакция