反事实审计:GPT、Claude、Gemini 等大模型在疼痛管理中未检出种族与性别偏见
17 个主流模型、1386 组配对比较的疼痛管理偏见审计,结论是没测出种族性别差异,但模型自身配置的波动大得惊人。做医疗 AI 评测或关心公平性审计方法的人,这篇的方法论细节很值得抠。
17 个主流模型、1386 组配对比较的疼痛管理偏见审计,结论是没测出种族性别差异,但模型自身配置的波动大得惊人。做医疗 AI 评测或关心公平性审计方法的人,这篇的方法论细节很值得抠。
拿100个真实厌食症社区的问题去测三个开源模型,还改用户背景做对照。结果挺扎眼:不告诉模型用户情况时,危险回答翻倍;体型不同得到的保护也不一样。做 AI 安全或医疗方向的人应该看看这套评估方法。
这篇论文揭示了LLM审计中评估工具设计比人口偏见更能影响结果,对AI公平性评估有重要启示。
这篇论文用数学证明了公平和准确不可兼得,小样本会让偏见更严重,模型表达能力不够也不行。做AI公平的人都会引用它。