Jonathan Hendler опубликовал MediationBench — открытый бенчмарк, в котором языковые модели играют обе стороны в 62 написанных по сценарию спорах, а тестируемая модель выступает медиатором. После каждого сообщения медиатор решает, говорить, ждать или завершить разговор, а счёт от 0 до 100 выставляет судья GPT-5.6 Sol. В контрольном исследовании «умная» медиативная стратегия превзошла простое эхо-отражение на +13.17 пункта при публичном контексте, однако пока действует лишь provisional-статус: эффект стратегии нестабильно переносится между бэкендами, а лидерборд ещё не прошёл межсудейскую валидацию.

image

Что произошло

Jonathan Hendler опубликовал бенчмарк MediationBench на сайте mediationbench.com и представил его в посте «Show HN: MediationBench – testing AI mediators in 62 simulated conflicts» на Hacker News. В бенчмарке языковые модели играют обе стороны в 62 написанных по сценарию спорах — от разрыва делового партнёрства до спора о driveway и кредитного конфликта, а тестируемая модель выступает медиатором. После каждого сообщения медиатор выбирает одно из трёх действий: говорить, ждать или завершить разговор, а сам диалог укладывается в окно от 3 до 25 раундов. Итоговый счёт от 0 до 100 выставляет судья GPT-5.6 Sol по пяти взвешенным компонентам: cooperation (25%), глубина разрешения (25%), раскрытые скрытые интересы (20%), баланс обязательств (15%) и качество медиатора (15%). В контрольном исследовании, где медиатором была Qwen3-235B, а стороны играла модель Stheno, стратегия «skilled mediation» превзошла контрольную стратегию «reflective listening» на +13.17 пункта (90% ДИ 9.67–17.55) при публичном контексте и на +7.27 (90% ДИ 1.31–10.52) при частных брифах. На текущем лидерборде версии v3.0, где стороны фиксирует Gemma 4 31B, верх занимают Claude Opus 5 со счётом 71.2, Claude Opus 5.5 со счётом 70.3 и Claude Fable 5.1 со счётом 69.9. Вместе с бенчмарком опубликован рабочий черновик статьи «MediationBench: Auditing AI Mediation in Synthetic Conflict» в редакции от 13.09.2026, и любой желающий может прогнать свою модель в роли медиатора.

Контекст

Для LLM-бенчмарков это нестандартный формат: протокол оценивает не содержание реплик, а тайминг управляющих решений, то есть выбор действия на каждом ходу, что ближе к eval агентного поведения, чем к вопрос-ответным тестам. Контрольная изоляция выстроена так, что стороны всегда фиксирует отдельная модель — Stheno в контрольном исследовании и Gemma 4 31B в лидерборде v3.0, поэтому тестируется только медиатор и снижена контаминация между моделью и окружением. Методологический аппарат включает пререгистрированные правила, фиксированный набор споров и holdout на 38 конфликтов, а в контрольном исследовании приведены доверительные интервалы, что до сих пор редкость для проектов такого жанра. До появления MediationBench у отрасли не было открытого протокола, позволяющего сравнивать модели как посредников, поэтому публикация фиксированного набора конфликтов с первичной судьёй становится точкой отсчёта для новой вертикали.

Почему это важно для индустрии

Для отрасли появляется первый публичный протокол «аудита» AI-медиации: фиксированный набор споров, первичный судья и пререгистрированные правила дают разработчикам и регуляторам измеримый способ сравнивать модели как посредников до того, как те попадут в реальные HR-, клиентские и соседские споры. Главный инженерный сигнал исследования — измеряется интеракция «стратегия × модель», а не универсальное умение медиировать: полный эффект получен на Qwen3-235B, частичное воспроизведение на Kimi K2.5 и отсутствие эффекта на gpt-oss-120b, поэтому объявлять лидера лидерборда обладателем абстрактной способности к медиации было бы некорректно. Из протокола переиспользуются три элемента: turn-level гейтинг «говорить, ждать или завершить», пятикомпонентная рубрика качества диалога и симуляционный A/B-тест стратегий до деплоя, а связка «фиксированные сценарии, holdout, пререгистрированная рубрика, пометка provisional» — готовый шаблон зрелого дизайна оценки для собственных internal eval'ов. Команды могут бесплатно проверять переговорных агентов против текущих лидеров без расходов на собственный eval; если после подключения трёх и более судей статус provisional снимут, лидерборд может стать рабочим справочником при выборе моделей для конфликтных воркфлоу, а сценарные eval'ы «мягких» поведенческих навыков — в перспективе встанут в один ряд с coding- и agentic-бенчами в чеклистах вендоров.

Почему это важно для пользователей

Любой может открыть лидерборд и сравнить, какие модели — Claude Opus 5, Kimi K3, GLM 5.3, GPT-5.6 Sol и другие — лучше всего гасят конфликты, прочитать рабочий черновик статьи и пример диалога, а также бесплатно прогнать собственную модель в роли медиатора. Для обычного читателя это пока ориентир, а не сервис: сам автор подчёркивает, что все стороны в спорах — ИИ, поэтому бенчмарк измеряет поведение моделей в симуляции, а не безопасность, справедливость или устойчивость соглашений с реальными людьми. Практический вывод — использовать лидерборд как отправную точку при выборе модели для задач с конфликтным диалогом, но не как гарантию, что та же модель сработает так же в живом споре.

Что пока неизвестно / ограничения

Итоговые сравнения пока носят статус provisional: счёт выставляет единственный первичный судья GPT-5.6 Sol, межсудейской валидации нет, а статус снимается только при оценке тремя и более судьями, поэтому чувствительность скоринга к выбору судьи остаётся непроверенной. Доказательство ценности стратегического слоя условно: получено на одном бэкенде, в сценарии с частными брифами нижняя граница 90% ДИ (1.31) почти примыкает к нулю, а сообщество ещё не подтвердило переносимость эффекта на другие модели. Статья существует в виде рабочего черновика в редакции от 13.09.2026 и не прошла внешнее обсуждение — пост на Hacker News на момент подготовки материала собрал 1 point и 0 комментариев. Неизвестными остаются согласованность судей между собой, результаты проверки 38 конфликтов из holdout и перенос результатов на живых участников; безопасность, справедливость и устойчивость реальных соглашений бенчмарк не измеряет.

Источники

Автор

Look at AI, редакция