事件专题 ·官方一手

AI 审批监控器会出现相关性失效,论文建议按证据源计数而非投票

arXiv 论文研究了多个 AI 监控器在审批智能体操作时的相关性失效问题,借用了分布式计算中 fail-prone systems 的概念。作者按两套预注册协议测试了 12 个小型开源权重监控器在支付审批上的表现,还额外测试了 Claude Opus 5.5、GPT-6 Astra、Gemini 4 Argon 和 DeepSeek-V3.2。结果显示,所有成功的欺诈性放行都通过某个证据源传播且只影响读该源的监控器;小型模型和 DeepSeek 会服从注入指令,而三个闭源模型基本无视。在等安全条件下,按证据源计数而非按票数计数的规则把正确支付误拦率从 7.4% 降到 0.9%。加入不可被说服的规则引擎后,可在测得的攻击下恢复安全且存活的规则条件。

当前结论

这篇论文测了 16 个模型当支付审批监控器的表现,发现一起失效的根源是共享证据源,结论是数来源别数票,做智能体安全的人可以看看。

10 个信源43° AI 热度最后更新 2026/10/21 04:09:37

证据链

10 个信源
相关来源 1Artificial Analysis
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。