事件专题 ·多源确认

DRAFT-Bench 发布:评测前沿 Agent 在专业设计全流程中的可靠性

论文提出 DRAFT-Bench(Design Reliability Across Feedback and Tasks),覆盖需求澄清、创意探索、约束编辑、迭代修改和生产交付五个设计环节。测试对比了 Codex、Astra 和 Claude Code,使用 35 份设计简报、43 个条件,另有 40 个场景的 RFQ 独立赛道。Astra 完成 43/43 个设计条件,Claude 完成 35/43;在 28 个共同评分的核心条件中,语义检查对 Astra 标记 11 项违规、Claude 5 项。论文指出这些是模型判断而非专家确认的失败率,并强调执行能力、需求合规与专业验收需要分开评估。

当前结论

一个新的设计类 Agent 基准,Astra 全跑完但违规多,Claude 少做几个却更稳,论文本身还很克制地说明评测局限。

11 个信源38° AI 热度最后更新 2026/11/6 03:22:19

证据链

11 个信源
相关来源 10智源研究院 BAAI
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。