事件专题 ·多源确认

论文:低成本验证器 Jev 在 RAG 事实核验上接近 GPT-6 Astra

一篇论文测试了只返回标签和概率的小型验证器 Jev,与 GPT-6 Astra 在 495 条人工标注的 RAG 主张上对比。Jev 的准确率与 Astra 相差仅 0.6 个百分点,成本低 187 倍,但它放行了 23.2% 的无依据主张,Astra 为 14.1%。论文还搭建了 Jev 先答、疑难转 Astra 的级联方案,虽降低了 Astra 账单,但随机分流同样比例的主张也能省差不多。作者建议选型时重点测量验证器放行无依据主张的比例,而不是只看准确率。

当前结论

做 RAG 的朋友看看这篇:Jev 成本只有 GPT-6 Astra 的 1/187,准确率几乎持平,但它漏放无依据主张的比例高不少,选型时得盯这个指标。

4 个信源31° AI 热度最后更新 2026/10/27 10:24:24

证据链

4 个信源
相关来源 1arXiv: DeepSeek
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。