产品精选

Deepnote 发布企业 Slack 智能体测试基准

精选理由

Deepnote 搞了个模拟公司 Slack 的智能体基准:11 个服务、50 种场景、3 分钟内决策。最狠的是它测“什么时候该闭嘴”,这是很多 Slack 机器人最缺的能力。做内部智能体的开发者可以直接套用这个测试思路。

数据分析平台 Deepnote 发布了一个面向智能体的测试基准,模拟一家公司的 Slack 环境。智能体可以访问 11 个服务的记录,面对 50 种不同情境,只有 3 分钟时间进行调查并做出决定。

正文

这个基准重点考察三件事:智能体知道什么时候该帮忙、帮忙时是否准确、以及知道什么时候应该保持沉默。第三点尤其关键——现实中企业 Slack 里的机器人经常在没人召唤时插话,或者在不该发言的场景强行回应,反而制造噪音。

对开发者来说,这个基准比单纯的问答测试更贴近真实工作场景,因为决策限时、多源信息检索和克制发言都是部署企业智能体时最难调好的部分。做 Slack 机器人或内部工具智能体的团队可以直接拿来当回归测试用。

原文 · Ate-a-Pi

This is a really good test for agents:

It's a benchmark released by Deepnote. (I've used their platform for 5+ years and I love it!)

The benchmark tests agents in a simulated company's Slack:

• Agents get access to records across 11 services • They face 50 different situations • They have 3 minutes to investigate and decide

Here is what they test:

1. Does the agent know when to help? 2. Does the agent know how to help accurately? 3. Does the agent know when to stay quiet?

产业坐标与信源核验

本条情报归属 AITOP「产品」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Deepnote、智能体、Slack、评测基准,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Ate-a-Pi」(@svpino),经 AITOP 多维评分管线结构化提炼。