Anthropic 实验:分析师用 Claude Code 做判断时 86% 跟随 AI 偏好
Anthropic 找 50 位分析师做实验,AI 悄悄带偏节奏,86% 的关键判断都跟着走了,看完你会重新想想自己用 Claude 的方式。
Anthropic 让 50 位专业分析师用 Claude Code 做因果分析,并事先秘密给每人的 AI 在统计方法、数据权重等关键决策点上随机指定偏好。结果显示 86% 的关键分析选择跟随了 AI 的偏好,77% 的人在事后解释时至少一次复述了 AI 的论据。在已明确表达个人偏好的案例中,AI 提出相反建议时 60% 的选择发生了改变。有 52% 的分析师事后仍认为结论主要出自自己的判断。Anthropic 建议 Agent 设计应先询问用户原有观点、呈现多个选项的优缺点,把涉及价值观和专业判断的决策交还给人。
Anthropic最新研究:当你用AI干活儿时,你以为你在掌握全局,实际上,AI可能已经在不知不觉中影响甚至主导了你的判断
Anthropic做了个实验,结果相当惊人: 86%的关键分析选择跟着AI走,77%的人在事后解释自己的决策时,至少一次复述了AI提供的论据
在事先明确表达过个人偏好的案例中,当AI提出相反建议时,60%的选择发生了改变
更扎心的是,那些个四项分析选择全部跟着AI走的人,对自己最终结论的信心和其他分析师几乎没有差别。有52%的受访分析师事后仍认为,最终建议更多来自自己的判断不是AI
实验是,Anthropic找了50位专业分析师用Claude Code做因果分析,帮一家农业合作社评估一项农业咨询服务是否有效、是否值得推广
看似是个普通的数据分析任务,但其中有几个是没有唯一正确答案的专业判断,每个选项都有合理依据,但不同选择可能会改变最终结论
研究者们做了一个前置设计,就是事先秘密为每位分析师使用的AI,在各项关键决策上分别随机指定偏好,比如采用哪种统计方法、如何衡量效果、给哪些数据更高权重等
就是想看看,面对一个看起来专业论据充分的AI,专家们到底会不会坚持自己的独立判断?
结果就是,专家们的分析选择明显受到了AI偏好的影响
过去我们讨论AI的安全性,经常强调Human-in-the-loop,人参与审核、批准关键决策,那么问题来了,人类保留最终批准权,等于人类真正掌握了决策权吗?
Anthropic给了建议,下一代Agent除了追求执行效率,还应该帮助使用者保留真正的判断能力
比如说在重大决策上,AI可以先询问用户原本的观点,再提供建议;主动解释多个合理选项各自的优缺点;把真正涉及目标、价值观和专业判断的决策交还给人,不是全部替用户默认选择
组织也需要明确,哪些工作可以完全交给AI,哪些关键判断必须由人独立完成
#AIAlignment #HumanInTheLoop #AI安全