技巧精选

Together 分享智能体评测方法:任务完成率从 67% 提升到 96%

精选理由

Together 把自家 Claude Code 智能体的任务完成率从 67% 拉到 96%,方法全公开了:10 个真实任务、沙箱跑、三配置对比。做智能体开发的人可以直接照搬这套评测闭环,比看论文学来得实在。

Together AI 公开了内部的智能体评测流程:先定义约 10 个代表性任务,再让 Claude Code 在沙箱环境中运行,对每个任务测试 baseline、MCP、skills 三种配置,最后分析执行轨迹并改进文档和 API。

正文

这套流程使智能体任务完成率从 67% 提升到 96%,提升幅度为 29 个百分点。具体做法的关键在于对比三种配置在同一任务上的表现差异,通过轨迹分析定位失败原因,再针对性优化文档与接口设计。

对开发者而言,这意味着评测不是一次性的跑分,而是一个围绕真实任务反复迭代的闭环:任务定义、沙箱执行、配置对比、轨迹分析四步缺一不可。

原文 · Together AI

How we do agent evals at Together:

→ Define ~10 representative tasks → Run agents (Claude Code) in sandboxes → Test 3 configs (baseline, MCP, skills) for each task → Analyze trajectories and improve docs + APIs

Agent task completion improved from 67% to 96%! More below: https://t.co/51fUlbakvR

产业坐标与信源核验

本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Together AI、Claude Code、智能体评测、MCP/工具,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「Together AI」(@togethercompute),经 AITOP 多维评分管线结构化提炼。