Из сессий с агентами получаются готовые evals

Разработчик Ibragim Badertdinov из Nebius выпустил скилл evals-from-sessions, который превращает историю сессий с кодовыми агентами Claude Code, Codex и Pi в приватные eval-задачи с автоматической проверкой, и на собранных из ~1270 сессий 10 задачах показал, что лёгкий агент Pi с GPT-6.1 Sol в режиме medium обходится вдвое дешевле Codex — $0.070 против $0.138.

Автор Sergey KostenchukОпубликовано 2026-10-16Обновлено 2026-10-16

2026-10-16 Исследования Anthropic

🤖 Из сессий с агентами получаются готовые evals

Разработчик Ibragim Badertdinov (Nebius, SWE-rebench) выпустил скилл evals-from-sessions: история ваших сессий в Claude Code, Codex и Pi превращается в приватные eval-задачи с автопроверкой. Из ~1270 сессий он собрал 10 задач: агент Pi на GPT-6.1 Sol (medium) решил все в среднем за $0.070, Codex — за $0.138.

🌍 Команды, работающие с кодовыми агентами, смогут сравнивать модели, скиллы и MCP-серверы по цене и времени на своих реальных задачах, а не по публичным бенчмаркам.

👤 Скилл (MIT) ставится через npx skills add ibragim-bad/evals-from-sessions: соберите свои задачи и проверьте, не решит ли их дешевле другой агент, — автор так сэкономил вдвое на токенах. Оговорка: из 1270 сессий вышло лишь 10 задач с ревью человека, выводы верны для его задач.

Источник 1: https://teletype.in/@ibragim_bad/fm5jSJvYb_5 Источник 2: https://github.com/ibragim-bad/evals-from-sessions

Источники