主要来源rohanpaul_ai
查看原文事件专题 ·多源确认
CMU 论文:Opus 5.5 + Claude Code 搭建的系统在 Singularity-Bench 上超越 SGLang
卡内基梅隆大学发布新论文 Singularity-Bench,给智能体布置 6 项端到端工程任务,包括预训练一个模型、搭建推理服务引擎和集群编排器,每项结果都和 SGLang、NVIDIA Dynamo 等生产级系统在同一批 GPU 上对比打分。 测试中 Opus 5.5 加 Claude Code 实际搭出了预训练管线、推理引擎和集群编排器三项完整系统,其推理服务引擎每 GPU 小时产出 11.52 美元,对比 SGLang 的 8.18 美元高出约 40%。 在总指标 Singularity-Index 上,Opus 5.5 拿到 1.25(1 等于人类基线),其余 10 个智能体平均只有 0.58。这篇基准把智能体评测从问答和代码片段推进到完整生产系统层面,对评估智能体的真实工程能力有参考价值。
当前结论
CMU 这次不考答题了,直接让智能体搭整套生产系统跟 SGLang、NVIDIA Dynamo 硬碰硬。Opus 5.5 做出的推理引擎每 GPU 小时赚 11.52 美元,比 SGLang 的 8.18 还高。做智能体评测和基础设施的工程师都该看看评分方式。
11 个信源63° AI 热度最后更新 2026/11/13 19:54:37
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。