主要来源arXiv: DeepSeek
查看原文事件专题 ·官方一手
SCCGBench：真实Web服务调用代码生成评估基准
SCCGBench是一个包含3,135个可追踪RapidAPI调用函数的基准测试，来自真实GitHub仓库。该基准使用redacted-intent生成减少循环泄漏，并引入Mock、Robust、ParamF1等诊断指标。评估显示，在仅意图设置下，最强模型仅获得3.76%的Mock成功率；在黄金文档Oracle设置下，开源模型Mock达到88.73%-90.52%，DeepSeek-V4-Pro为76.47%-81.86%。
当前结论
SCCGBench评估了六种代码LLM在真实Web服务调用中的表现，揭示了API接地是主要瓶颈。
2 个信源41° AI 热度最后更新 2026/10/9 03:10:33
证据链
2 个信源相关来源 1IT之家
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件，不代表立场相同。当前没有结构化的支持或反驳证据，不自动推断冲突。