事件专题 ·官方一手

NumTrace 基准:审计金融分析师智能体的数字来源

arXiv 论文 NumTrace 针对金融分析师智能体生成的数字论断,审计其来源与财务语义。该基准包含 540 道题目,覆盖 2,163 份 SEC EDGAR 文件,首次覆盖 Form 13F 持股和 Item 402(i) 高管薪酬数据。基准对每个论断给出 value、binding、support 三项独立判定,用来识别“数字对但归属错”(RNWA)错误。审计 Claude Opus 5.5、GPT-6 Astra 和 DeepSeek-V4.1-Flash 三个智能体后发现,RNWA 错误占各自失败论断的 67.5%-81.8%,在 13F 联合申报组问题上约 91% 的论断通过数值检查,但通过 binding 检查的不足一半。

当前结论

论文测了三个主流模型在 SEC 文件上算数字的表现,发现数字本身往往算对,但挂错了公司或科目,这个问题之前没人单独量化过。

11 个信源31° AI 热度最后更新 2026/10/26 05:58:10

证据链

11 个信源
相关来源 6掘金本周最热
查看原文
相关来源 10Simon Willison’s Weblog
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。