SGLang научил чат-модели отвечать вероятностями

В открытом движке инференса SGLang появились эндпоинты /v1/decisions и /v1/systemone (PR #40992 и #41208, 24–25 сентября 2026): обычная чат-модель отвечает вероятностями — выбором из вариантов, оценкой по шкале и «да/нет» — рассчитанными по лог-вероятностям следующего токена.

Автор Sergey KostenchukОпубликовано 2026-10-02Обновлено 2026-10-02

2026-10-02 Кодинг

🛠 🌟 SGLang научил чат-модели отвечать вероятностями

Чат-модель в открытом движке SGLang отвечает не текстом, а вероятностями: эндпоинты /v1/decisions и /v1/systemone дают выбор из вариантов, оценку по шкале и «да/нет». До релиза функция доступна в nightly-сборках; в демо Qwen3.8-27B выбирала действия в Pokémon FireRed (менее 100 мс).

🌍 SGLang делает вероятностную классификацию нативным эндпоинтом сервера рядом с /v1/score и /v1/rerank; совместимость с System One API — открытая альтернатива проприетарному Jev.

👤 Любую чат-модель на SGLang можно применять как классификатор (триаж, маршрутизация, guardrails) без отдельного reward-чекпойнта; клиенты TypeSafe SDK подключаются сменой base_url. Вероятности не откалиброваны: дрейф до 0,07, пороги нужно валидировать на своих данных.

Источник 1: https://x.com/sgl_project/status/2105095379272515603 Источник 2: https://docs.sglang.io/docs/supported-models/decision_models

Источники