反事实审计:GPT、Claude、Gemini 等大模型在疼痛管理中未检出种族与性别偏见
一项发布于 arXiv 的反事实审计研究测试了 17 个大语言模型在疼痛管理中的种族与性别偏见,共 24 种配置,涵盖 OpenAI 的 GPT-4.1 mini 与 gpt-oss、Anthropic 的 Claude Haiku 4.5、Google 的 Gemini 2.5 Flash、Meta 的 Llama、DeepSeek 和 Qwen。Study 1 用 4 个开源模型评估 6 个急性疼痛病例,覆盖 4 个种族与 2 个性别的所有组合,与同种子下的白人男性参照组配对比较。 在单提示、JSON 约束任务下,Study 1 没有任何差异在校正后存活,Study 2 的 1,386 组比较全部未通过错误发现率校正;所有疼痛评分差异在 0-10 量表上等价于 1 分以内的零差异,238 组 Q-Pain 临床病例比较中 237 组差异不超过 0.25 分。阿片类药物决策的置信区间较宽(Study 1 不能排除约 20 个百分点的差异),因此只能说明未检出差异,而非证明无差异。模型之间的差异远大于患者身份之间的差异:同一参照患者获得高剂量阿片类药物的比例在不同配置下从 6% 到 93% 不等。 研究建议临床 AI 公平性审计应做到每个种族使用多个姓名、按随机种子配对比较、报告噪声底限,并对每个实际部署配置单独测试。对医疗 AI 开发者与医院采购方而言,这项工作提供了可复用的审计方法框架,也提示部署配置本身(服务软件、精度、推理开关)可能是比患者身份更重要的变异来源。
当前结论
17 个主流模型、1386 组配对比较的疼痛管理偏见审计,结论是没测出种族性别差异,但模型自身配置的波动大得惊人。做医疗 AI 评测或关心公平性审计方法的人,这篇的方法论细节很值得抠。
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。