事件专题 ·官方一手

FinVeriQA 开源多智能体金融问答系统:小模型路由、Python 计算、MCP 工具链

开源多智能体原型 FinVeriQA 针对 SEC 文件和实时行情构建金融问答流水线:紧凑决策模型 Laya 负责问题路由并拦截投资建议请求,所有数值由 Python 计算,Mistral-7B 生成带引用的回答,代码校验器核对引用 ID 与计算结果,整条链路通过 MCP 服务器对外暴露。 实测数据显示,Laya 路由准确率 0.85,高于 Mistral-7B 的 0.52(总体 0.86 对 0.68,McNemar p = 0.0003);Mistral-7B 在 100 道金融计算题上只算对 29%,Python 则全对;接入实时报价把价格误差从 210% 降到 0.00%,混合检索在 50 道文件问题上取得 76% Hit@5。 但案例研究暴露了关键问题:两个智能体回答都通过了校验,却把 AMD 的样本数据标成 NVIDIA 和 Alphabet。在 FinRank 基准上的对照实验解释了原因——证据被污染时自一致性仍保持高置信(一致性 0.55-0.59,准确率从 0.50 跌到 0.00),共享证据校验只能抓到 35% 错误,对照原始段落核查可抓到 77%(p = 5.96×10⁻⁸);DeepSeek-R1-8B 为 68% 对 90%。结论是:校验必须独立于写作模型看到的那份证据。

当前结论

这篇把金融问答 Agent 拆成路由、计算、检索、写作、校验五步,用数字说话:小模型路由反而赢了大模型,Mistral-7B 算数只有 29% 正确率。做 RAG 或智能体的人该看看它的校验设计——证据自检靠不住。

11 个信源39° AI 热度最后更新 2026/11/18 19:13:45

证据链

11 个信源
相关来源 9The Information
查看原文
相关来源 10Aravind Srinivas
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。