Agent基准测试需评估评分者而非仅任务

Parsewave审查了Zapier的AutomationBench中全部600个公开任务，发现206个评分者存在缺陷。研究人员使用智能体生成看似正确但实际错误的答案，验证评分者准确性。修复后的评分者在1,235次Kimi K3测试中，27.9%的情况下给出不同评分结果。任务813案例显示，原评分者仅检查Salesforce笔记而忽略DocuSign模板，错误通过13项检查。