🤖 Openlayer выпустила jevals — замену LLM-судье
Open-source библиотека jevals заменяет дорогой вызов LLM-судьи типизированными вопросами к модели решений Jev, возвращая калиброванные вероятности одним forward-пассом. 9 проверок агента — от выбора инструментов до инъекций и PHI — умещаются в один HTTP-запрос: ~0,5 с и $0.00006 на трейс.
🌍 Цена и недетерминизм — главные претензии к LLM-судье: по замеру LangChain разброс оценок GPT/Claude в 92–913 раз выше, чем у Jev. Проверка каждого трейса и гейты allow/escalate/block перед вызовами инструментов становятся практически бесплатными — прямой конкурент Ragas и DeepEval.
👤 pip install jevals проверяет каждый шаг агента на галлюцинации, выбор инструментов и инъекции за сотые доли цента. Нюанс: проект в alpha, точность Jev как у маленьких LLM (83–87%) — калибруйте пороги.
Источник 1: https://github.com/openlayer-ai/jevals Источник 2: https://news.ycombinator.com/item?id=49780849