Together 团队分享 Agent 评测实践:失败的不只是模型,还有文档和 Skills
Together 用自家 Agent 跑真实任务来测 SDK 和文档,发现补两句话比换模型还管用。他们还踩过 Skills 合并后通过率暴跌的坑。给自家产品做 Agent 适配的工程师都该看看这套评测流程。
Together 团队公开了内部评测方法:把真实开发需求写成任务,让 Coding Agent 在沙箱中调用自家 SDK、命令行和文档,例如查询 GPU 集群可用区域并生成预订命令但禁止真正下单。同一任务比较三种配置(只给提示词、接入文档 MCP、提供 Skills),由 GitHub Actions 编排并记录 API 调用,再用模型裁判判定通过、未完成或失败。
具体数据显示模型差异与产品问题同样重要:一项 GPU 集群任务中,Sonnet 4.6 使用 Skills 仅成功 4/15 次,同配置下 Opus 4.8 达到 13/14 次。但根因部分在文档——Agent 把示例输出当成实时库存,Skill 又指向营销页而非价格表;团队只补两句话明确指向实时接口和价格表后,该任务对所有受测模型全部通过。
评测还发现错误信息指向不存在的接口、重试请求返回 404 等产品缺陷。此外团队将 14 个分散 Skill 合并为统一入口后首次退步:72 次运行仅通过 54 次,未完成从 7 次升至 18 次,单次费用翻倍;修复示例并更新过时模型后才达到 70/72(约 97.2%),平均耗时下降约 20%。
Together 团队分享 Agent 评测实践:失败的不只是模型,还有文档和 Skills @togethercompute 团队 @nutlope 分享了团队里的实际做法:用 Coding Agent 测试自家 SDK、命令行和文档,再根据失败记录改产品。 together.ai/blog/how-we-do… # 评测的对象,是 Agent 使用产品的全过程 团队把真实开发需求写成任务,例如查询 GPU 集群的可用区域、找到最便宜机型,再生成预订命令,但明确禁止真正下单。 同一任务比较三种配置:只给提示词、接入文档 MCP,以及提供 Skills。Agent 在沙箱里运行,由 GitHub Actions 编排,同时记录 API 调用,再由模型裁判判断通过、未完成或失败。 他们不仅看失败记录,也复查成功轨迹:最终做成了,不代表文档清楚、路径合理,Agent 可能只是反复绕路后碰巧完成。 # 两句话,能比换模型更值得先做 早期一项 GPU 集群任务中,Sonnet 4.6 即使使用 Skills,也只成功了 15 次中的 4 次;同配置下,Opus 4.8 成功了 14 次中的 13 次。 原因不全在模型:Agent 把命令行示例输出当成实时库存,Skill 又把它引向营销页,而非价格表。团队补充两句话,明确指向实时区域接口和价格表后,该任务在 Skills 配置下对所测模型全部通过。 评测还发现,错误信息指向不存在的接口,以及重试请求异常返回 404。只测最强模型,反而可能掩盖这些产品问题。 # Skills 整合,也可能越改越差 团队将 14 个分散的 Skill 合并为统一入口,首次结果却退步:72 次运行仅通过 54 次,未完成次数从 7 次升至 18 次,单次费用翻倍。 压缩入口说明、更新过时模型并修复示例后,72 次运行通过 70 次,约为 97.2%;平均耗时下降约 20%,费用回到原先水平。 这说明,统一入口并不天然降低使用难度。Agent 能否找到正确说明、示例是否有效,都需要实际运行验证。 Hassan @nutlope x.com/i/article/2122… 🔗 View Quoted Tweet📊 3 ⚡
本条情报归属 AITOP「技巧」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Together AI、Skills、Coding Agent、MCP/工具,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明:本文原始线索采编自「shao__meng」(@shao__meng),经 AITOP 多维评分管线结构化提炼。