事件专题 ·单一信源

实验研究:混合检索与开源 LLM 结合做科学论断验证

该研究构建了一个包含 2,035 条论断的基准,数据来自 SciFact 和 CliniFact(858 条 Support、152 条 Contradict、1,025 条 Not Enough Evidence)。检索环节用语义检索加 BM25 的混合方法为每条论断取最相关的五句话,效果略优于单一方法。对比 DeBERTa-v3 NLI 基线与 Llama 3.1 8B、Qwen3 8B、Mistral 7B 三个模型,Qwen3 的 Macro-F1 最高,达 0.7937,NLI 基线仅 0.3157。与假设相反,两者一致才下结论的保守融合规则反而降低表现,Qwen3 的 Macro-F1 从 0.7937 降至 0.7392,错误分析显示分歧时常把 LLM 本来正确的判断改错。

当前结论

一条 arXiv 实验论文:用 BM25 加语义检索喂证据,Qwen3 8B 做 SciFact 论断验证拿了 0.79 的 Macro-F1,而且发现 NLI 加 LLM 融合反而掉分,做 RAG 事实核查的可以看看。

2 个信源31° AI 热度最后更新 2026/11/2 13:12:13

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。