🛠 RawModels открыли код JEV Arena — файтинга, где decision-модели управляют бойцами
Каждый ход модель получает состояние боя — здоровье, дистанцию, действия соперника — и выбирает приём. В турнире @arenaraw сыграли 18 моделей по 306 верифицированным боям. Лидер — d1-ultra от Liquid AI: Elo 1247, 94,1% побед; Kev 4B проиграла все 34 боя.
🌍 Рейтинг Bradley–Terry построен на реплеях с 95% доверительными интервалами, а не на самоотчётах вендоров. Тест «mental attacks» показал: сила и устойчивость к промпт-атакам почти не связаны — Decider V1.2 (Perplexity) сбит в 87,5% позиций, Drex Max (Nace.AI) — ни в одной.
👤 Арену можно открыть в браузере и собрать своего бойца: модель, персонаж, стратегия текстом. Реплеи и встроенные боты работают без ключей, живым боям нужны OpenRouter или RawModels API-ключи.
Источник 1: https://www.rawmodels.ai/blog/jev-arena Источник 2: https://github.com/rawmodels/jevarena