Allen AI 发布 FairStress 基准：测试模型决策的人口公平性
精选理由
Allen AI 做了个叫 FairStress 的评测，专查模型会不会因为用户身份就推翻本来有理有据的判断，连解释过程也一起打分。
Allen AI 推出 FairStress 基准，用于检测模型在最终答案之外的人口公平性问题。它衡量两件事：模型面对人口属性时是否轻易改变一个已有充分依据的决策，以及它如何为这一选择给出解释。相比只看最终输出的传统评测，FairStress 把决策稳定性和解释过程纳入公平性评估。
原文 · Allen AI (Ai2)
Today we’re introducing FairStress, a benchmark for testing demographic fairness beyond a model’s final answer: how readily it changes a well-supported decision & how it explains its choice. 🧵
https://t.co/rr8MG7xhRj https://t.co/RzyqOrEyli
