主要来源arXiv: OpenAI
查看原文事件专题 ·官方一手
RMIT-ADM+S 团队在 TREC 2026 RAG 赛道:研究智能体、检索消融与开源模型复现
RMIT-ADM+S 团队参加 TREC 2026 RAG 赛道(使用 ClimbMix 语料库),提交了七个研究智能体运行方案,分别采用 OpenAI 专有模型与开源权重模型,测试不同的检索策略、写作模型与智能体工作流。提交前的消融实验表明,写作模型选择和相邻分块扩展是影响答案质量的两个主要因素。 在 NIST 官方评估中,七个运行方案中的六个在三套 rubric/nugget 集合上均超过赛道中位数。表现最好的 brief-hybrid 方案在其提交中取得最高的全项目覆盖率,并在 Batch-1 vital 覆盖率上以 0.892 追平赛道最高分。 人工偏好评估与自动覆盖率指标出现分歧:开源权重的 owa-glm5 尽管自动覆盖率较低,仍在 Batch 1 的人工对比中领先,而 sol-research-first 在 Batch 2 领先。这一结果说明自动覆盖指标与人类偏好之间存在差异,也显示低成本开源权重模型在研究智能体系统中具有实用潜力。
当前结论
搞 RAG 和智能体的同学可以看看这份 TREC 2026 参赛报告。七个方案横跨 OpenAI 和开源模型,消融结果指出写作模型选择比检索策略更关键,开源的 owa-glm5 甚至在人工评审里赢了一个批次。想用低成本模型搭研究智能体的话,这些数据很参考价值。
11 个信源34° AI 热度最后更新 2026/11/12 07:34:28
证据链
11 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。