康奈尔提出 DecisionRAG：用决策模型 Jev 逐层导航文档树，替代传统检索器

当 Jev 遇上 RAG -> DecisionRAG：不用检索器，靠决策模型一层层逛文档树 来自康奈尔大学的论文，对准 RAG 里「检索器太弱、生成器再强也救不回来」的能力落差：提出 Decisi...

当 Jev 遇上 RAG -> DecisionRAG：不用检索器，靠决策模型一层层逛文档树 来自康奈尔大学的论文，对准 RAG 里「检索器太弱、生成器再强也救不回来」的能力落差：提出 DecisionRAG，用决策模型 Jev ( @typesafeai ) 在语料自带的主题→文档→段落树上逐层判断「该不该往下挖」，一次前向、不吐 token，候选放在同一上下文里一起比。不依赖第一阶段检索器、查询时也不靠预建向量索引；相对「稠密检索 + 8B 重排」，MultiDoc2Dial 上 R @1 高 13.8 点，Natural Questions（268 万段落）上 Hit @1 高 17.4 点，单次约 0.7–1.8 秒、0.2–2.3 美分。 论文： arxiv.org/pdf/2610.35868 问题从哪来？ 生成模型越来越强，检索仍多是 BM25 或固定向量近邻；漏掉的证据，生成端补不回来。让 LLM 当 Agent 一步步搜可以，但每步生成太慢太贵；重排器又只能重排第一阶段已经捞上来的东西。决策模型正好夹在中间：给共享上下文和一组问题，一次前向就对每个选项出概率（是/否或多项选择），不采样 token。 DecisionRAG 怎么运行？ 把语料看成树：叶子是段落，上层是帮助中心 / 产品 / 聚类主题 / 文档标题 / 小节。每一层： 1. 并行二元判断：共享上下文里列上本层全部候选，对每个问「值不值得为这个问题展开？」取 P(Yes)P(\mathrm{Yes})P(Yes)，留下 top-kkk，其余整支剪掉（不可逆）。 2. 落到段落后再二元打分，取 top-rrr。 3. 可选：多项选择只对短名单（通常 top 20，NQ 用 top 5）再比一次，把第一名排稳。 大层装不下一次请求就拆成并行批；约 50 个候选一批时共享上下文的收益就基本到顶。没有现成层级时（如 Wikipedia），离线用标题+首句 embedding 聚成 1000 簇，再让小模型写一句簇描述。也可在最后一阶段塞进稠密检索的 top 段，补回剪枝漏掉的证据。 延迟大致随树深走，不随段落总数线性涨：分支因子约 100 时，十亿段落理论上大约五次决策、一秒量级。 结果要点 四个基准：MultiDoc2Dial、ConditionalQA、MTRAG（IBM Cloud）、NQ-DAPR。无任务微调的 DecisionRAG (Jev) 在多数主指标上压过稠密 + Qwen3-Reranker-8B，并与「稠密 top-20 + GPT-5 列表重排」互有胜负、整体不落下风。 下游用同一生成器（Qwen3.5-27B）吃 top-5 段时，答案质量也跟着涨，MTRAG 上加稠密候选后判定正确率约 47.3%（相对重排基线约 39%）。同树同预算下，用 GPT-5 生成导航决策：精度差不多，却慢约 34–145 倍、贵约 21–25 倍。 用 Qwen3-8B 训成检索用决策模型后，MultiDoc2Dial R @1 到 60.7，比文中对照的已发表任务训练检索器再高约 5.7 点。 消融实验里真正有用的 · 共享上下文一起判，比各自单独判：MultiDoc2Dial R @1 大约 +7.7。 · 导航整棵树，往往优于「只用决策模型去重排稠密 top-100」，尤其 ConditionalQA / NQ 的 Hit @1 。 · 顶层剪枝是省钱关键，也是漏证风险点：NQ 上留约 15% 簇就能摸到「平铺扫全部页面」的 R @10 ，成本和延迟明显更低；留太少会整页永远摸不到。 局限 树结构和节点描述质量决定上限；剪枝不可逆。缓解办法是加大探索预算，或最后并上稠密候选。 💬 16 🔄 4 ❤️ 16 👀 1439 📊 24 ⚡