🛡 FairStress: тест на справедливость LLM
20 октября 2026 года Ai2 выпустил FairStress: 300 сценариев выбора между двумя кандидатами в 29 областях и до 78 состязательных префиксов — свыше 13 млн вариантов. На 15 моделях OLMo, Llama, Qwen, Gemma, Claude и GPT выявлена «антисстереотипная гиперкоррекция»: при явном указании группы модель на 9,3 п.п. чаще отказывает более сильному кандидату в пользу меньшинства.
🌍 Элайнмент учит блокировать дискриминационные запросы, а не взвешивать навыки; метрика «симметричной справедливости» — критерий аудита LLM в найме, кредитовании и медицине, где асимметрия несёт правовые и репутационные риски.
👤 Датасет (CC-BY-4.0), код и отчёт открыты: FairStress-Core (~50 тыс. примеров) запускается через Olmo-eval — проверьте свою модель и увидите цифры асимметрии, а не абстрактные заявления.
Источник 1: https://allenai.org/blog/fairstress Источник 2: https://huggingface.co/datasets/allenai/fairstress