论文

CMU 论文:Opus 5.5 + Claude Code 搭建的系统在 Singularity-Bench 上超越 SGLang

精选理由

CMU 这次不考答题了,直接让智能体搭整套生产系统跟 SGLang、NVIDIA Dynamo 硬碰硬。Opus 5.5 做出的推理引擎每 GPU 小时赚 11.52 美元,比 SGLang 的 8.18 还高。做智能体评测和基础设施的工程师都该看看评分方式。

卡内基梅隆大学发布新论文 Singularity-Bench,给智能体布置 6 项端到端工程任务,包括预训练一个模型、搭建推理服务引擎和集群编排器,每项结果都和 SGLang、NVIDIA Dynamo 等生产级系统在同一批 GPU 上对比打分。

正文

测试中 Opus 5.5 加 Claude Code 实际搭出了预训练管线、推理引擎和集群编排器三项完整系统,其推理服务引擎每 GPU 小时产出 11.52 美元,对比 SGLang 的 8.18 美元高出约 40%。

在总指标 Singularity-Index 上,Opus 5.5 拿到 1.25(1 等于人类基线),其余 10 个智能体平均只有 0.58。这篇基准把智能体评测从问答和代码片段推进到完整生产系统层面,对评估智能体的真实工程能力有参考价值。

原文 · rohanpaul_ai

New Carnegie Mellon paper finds that Opus 5.5 + Claude Code built a pre-training pipeline, an inference engine, and a cluster orchestrator that matched or beat production tools like SGLang and NVIDIA Dynamo on the same GPUs.

Singularity-Bench gives agents 6 end-to-end jobs, from pre-training a model to building a serving engine. Each result is scored against a production system, such as SGLang or Claude Code, on the same GPUs.

Opus 5.5 scored a Singularity-Index of 1.25, where 1 equals the human baselines, while the other 10 agents averaged 0.58. Its serving engine earned 11.52 USD per GPU-hour against 8.18 for SGLang.

产业坐标与信源核验

本条情报归属 AITOP「论文」核心栏目,重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中,该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线,反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括:Opus 5.5、Claude Code、SGLang、Singularity-Bench,读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。

信源核验说明:本文原始线索采编自「rohanpaul_ai」(@rohanpaul_ai),经 AITOP 多维评分管线结构化提炼。