主要来源elvis
查看原文事件专题 ·多源确认
Shaped 审计 Zapier AutomationBench：600 个任务中发现 206 个验证器 bug
Shaped 团队对 Zapier AutomationBench 的全部 600 个公开任务逐一检查验证器，让智能体生成看似合理的错误答案来攻击每个验证器，经人工复核确认 206 个真实 bug 并全部修复。团队用修复后的验证器重跑 1,235 次 Kimi K3 运行，27.9%（344 次）的评分发生改变。验证器过严的任务通过率从 18.8% 升至 43.8%，过松的任务从 60.2% 降至 49.7%。修复后的版本以 AutomationBench Verified 发布，附带审计方法和数据集。
当前结论
Shaped 把 Zapier 的 AutomationBench 全查了一遍，206 个验证器有 bug，修完后 Kimi K3 近三成评分都变了，做评测的都该看看。
5 个信源52° AI 热度最后更新 2026/10/6 17:52:22
证据链
5 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。