Deepnote 发布 Agent Initiative Benchmark:测试智能体何时该在 Slack 里开口
Deepnote 做了个新基准,专门测智能体在 Slack 里会不会挑时机说话。最有趣的是成本差:GPT-6.1 Sol 一单 $0.11,Claude Fable 5.2 要 $1.87。在做客服或内部协作机器人的团队可以照着这个评测框架来筛模型。
Deepnote 推出 Agent Initiative Benchmark,把主动型智能体放进一个模拟公司的 Slack 环境,评测它们是否知道何时介入、说什么、何时保持沉默。
测试流程为:Slack 中开启一个线程,智能体先决定是否行动,再从 11 个服务中选择需要核查的对象进行调查,最后决定发帖并 @ 相关的人,或选择不发声;两次运行由 LLM 评审员对照参考答案打 0 到 10 分。
成绩方面,GPT-6 Astra 以 8.97/10 排名第一,GPT-6.
1 Sol 以 8.65 分紧随其后,每任务成本仅 $0.
11;第三名 Claude Fable 5.
2 每任务成本高达 $1.87,性价比差距明显。
这个基准把'判断该不该出手'本身当作评测对象,补上了此前多数智能体评测只看任务完成度、不看介入时机的空白。
This is a beautiful concept for a benchmark.
Deepnote (@deepnotehq), an agent workspace company, released the Agent Initiative Benchmark, a test that drops proactive agents into a company Slack and scores whether they know when to jump in, what to say, and when to stay quiet.
GPT-6 Astra led with 8.97 out of 10, and GPT-6.1 Sol followed at 8.65 for $0.11 per task, against $1.87 per task for third-placed Claude Fable 5.2.
It runs every model through the same loop:
> A thread starts in a simulated company’s Slack > The agent decides whether to act at all > It picks which of 11 services to check and investigates > It posts and tags the right people, or stays silent > Two LLM evaluators score the run 0 to 10 against a reference answer
本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Deepnote、GPT-6、Claude、智能体,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「rohanpaul_ai」(@rohanpaul_ai),经 AITOP 多维评分管线结构化提炼。截至目前,全网已有 11 家独立信源对该事件进行交叉印证与跟进报道(含 lmarena.ai、Harrison Chase、TestingCatalog 等),属于近期高关注度行业信号。