主要来源elvis
查看原文事件专题 ·多源确认
Shaped 审计 Zapier AutomationBench,修复 206 个验证器漏洞
Shaped 对 Zapier 的 AutomationBench 中全部 600 个公开任务逐项检查验证器,用智能体提交貌似合理的错误答案来测试,人工复核确认 206 个真实漏洞并全部修复。团队重放 1235 次 Kimi K3 运行,其中 344 次(27.9%)成绩发生变化。验证器过严的任务上通过率从 18.8% 升至 43.8%,过宽的从 60.2% 降至 49.7%。修复后的版本以 AutomationBench Verified 发布。
当前结论
Shaped 给 Zapier 的 AutomationBench 做了一次验证器审计,用智能体找茬找出 206 个真实漏洞,近三成 Kimi K3 成绩因此改变,做评测的都该看看。
5 个信源43° AI 热度最后更新 2026/10/6 18:12:44
证据链
5 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。