Together AI 公开 Agent 评测方法:任务完成率从 67% 提升到 96%
Together AI 把自家 Agent 评测流程全摊开了:10 个任务、3 种配置、沙箱跑 Claude Code,靠轨迹分析改文档,完成率从 67% 冲到 96%。自己搭 Agent 工作流的朋友可以直接抄这套作业。
Together AI 分享了内部跑 Agent 评测的完整流程:先定义约 10 个代表性任务,再把 Claude Code 放进沙箱环境里执行,每个任务测 3 种配置(baseline、MCP、skills),最后分析执行轨迹并据此改进文档和 API。这轮迭代让 Agent 任务完成率从 67% 提升到 96%,提升 29 个百分点。
方法的关键在于用沙箱隔离运行环境、按配置对照测试,通过轨迹分析定位 Agent 失败的原因,再把改进落到文档和 API 设计上,形成可复用的评测闭环。
对开发者来说,这套流程提供了一个可以直接照做的 Agent 评测模板,尤其适合用 Claude Code、MCP 或 skills 搭建自动化工作流的团队参考。
Here's how we do agent evals at Together AI:
→ Define ~10 representative tasks → Run agents (Claude Code) in sandboxes → Test 3 configs (baseline, MCP, skills) for each task → Analyze trajectories and improve docs + APIs
Agent task completion improved from 67% to 96%!
本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Together AI、Claude Code、MCP、Agent评测,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「Together AI」(@togethercompute),经 AITOP 多维评分管线结构化提炼。