主要来源rohanpaul_ai
查看原文事件专题 ·多源确认
Deepnote 发布 Agent Initiative Benchmark:测试智能体何时该在 Slack 里开口
Deepnote 推出 Agent Initiative Benchmark,把主动型智能体放进一个模拟公司的 Slack 环境,评测它们是否知道何时介入、说什么、何时保持沉默。测试流程为:Slack 中开启一个线程,智能体先决定是否行动,再从 11 个服务中选择需要核查的对象进行调查,最后决定发帖并 @ 相关的人,或选择不发声;两次运行由 LLM 评审员对照参考答案打 0 到 10 分。成绩方面,GPT-6 Astra 以 8.97/10 排名第一,GPT-6.1 Sol 以 8.65 分紧随其后,每任务成本仅 $0.11;第三名 Claude Fable 5.2 每任务成本高达 $1.87,性价比差距明显。这个基准把'判断该不该出手'本身当作评测对象,补上了此前多数智能体评测只看任务完成度、不看介入时机的空白。
当前结论
Deepnote 做了个新基准,专门测智能体在 Slack 里会不会挑时机说话。最有趣的是成本差:GPT-6.1 Sol 一单 $0.11,Claude Fable 5.2 要 $1.87。在做客服或内部协作机器人的团队可以照着这个评测框架来筛模型。
11 个信源61° AI 热度最后更新 2026/11/13 15:24:29
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。