Ai2发布FairStress公平性评测基准

Ai2 发布 FairStress 基准，用于衡量 LLM 在招聘、医疗、借贷等 29 个领域做双候选人决策时的群体公平性，覆盖 300 个场景、扩展出超 1300 万个测试用例。Ai2 称，该基准不只考察模型最终做出的选择，还关注决策过程中的公平性。 Ai2 同时推出 5 万条的 FairStress-Core 子集，称其旨在让评测更快、计算成本更低，同时保留完整基准揭示模型行为差异的大部分能力。FairStress 可下载，Ai2 也在将其集成进模型评测工作台 Olmo-eval。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。