AITOPAI热报

多跳推理

共 7 条相关 AI 资讯
9月1日
10:12
8月26日
11:27
11:27官方账号arXiv cs.AI@Md Saikat Islam Khan Bappy, Oshani Seneviratne
针对知识图谱问答中数据分散的问题，提出FedV-KGQA框架，结合本地图丰富化和知识图谱嵌入，确保原始三元组和关系参数不离开各个孤岛，实现结构化数据边界，无需集中式图访问。引入主题实体锚定机制，无需跨孤岛通信即可定位正确图邻域。在三个基准上评估12种模型配置，FedV-KGQA表现强劲，接近集中式性能，可泛化到3跳推理，对嵌入扰动具有鲁棒性。
论文FedV-KGQA知识图谱问答多跳推理
推荐理由：FedV-KGQA框架解决了知识图谱问答中数据分散的问题，结合本地图丰富化和知识图谱嵌入，无需集中式图访问，引入主题实体锚定机制，无需跨孤岛通信即可定位正确图邻域，性能强劲，值得一看。
原文
8月13日
17:49
17:49官方账号arXiv cs.AI@Ankita Rajaram Naik, Anupama Murthi, Benjamin Elder, Siyu Huo, Raavi Gupta, Abhinav Jain, Praveen Venkateswaran, Abdulhamid Adebayo, Danish Contractor
精选
研究人员推出VAKRA基准，包含62个领域的8000多个可执行API，用于测试智能体在工具使用策略约束下的多跳推理。最佳模型在单跳端点任务上准确率只有70.4%，在组合API任务上降至50-51%。当推理深度增加时，模型性能下降超过50%。在策略约束的不可回答查询上，部分模型准确率低至2.4%。错误分析显示，失败主要集中在实体消歧和跨源信息对齐等语言中介推理环节。
论文VAKRAIBM智能体
推荐理由：IBM新基准VAKRA，测API和文档多跳推理，最强70.4%，多跳掉一半，暴露AI短板。
原文
8月6日
11:39
11:39官方账号arXiv cs.LG@Purbesh Mitra, Sennur Ulukus
该论文提出 Chained Recursive Language Models（Chained RLM），一种推理时架构，让同一个模型以全新上下文被反复调用。每一轮推理接收原始问题和紧凑摘要，而非完整对话历史，通过黑板和工作区传递中间结果。论文描述了系统模型、交接机制、工件工作区及评估协议，并研究了何时使用新鲜上下文的多阶段计算相比直接回答更准确。在需要抽取、计数、排序和多跳推理的任务中，该方法能减少早期错误传播。
论文Chained RLM推理模型长上下文
推荐理由：这篇论文把一次长推理拆成多轮小步骤，每一步都能检查修正，适合做长文档问答的人看看。
原文
6月1日
10:15
10:15官方账号arXiv cs.LG@Felipe Urrutia, Juan José Alegría, Cinthia Sanchez Macias, Jorge Salas, Cristian B. Calderon, Cristobal Rojas
这篇论文通过训练GPT-J在两种结构等价的多跳推理任务（数字任务需位置推理，字母任务需符号推理）上，研究了注意力头的学习动态。作者引入新指标将注意力头分类为位置型或符号型，发现成功学习与纯头（即只表现一种类型）的出现相关。尽管任务结构等价，但数字任务需要位置和符号两种头，而字母任务只需符号头。论文进一步揭示了这些头的计算角色，并给出基于RoPE的几何可解释构造。关键发现是符号机制在长序列上泛化更可靠，而位置机制有更明显的局限性，并通过理论和实验验证了这种分离。
论文注意力机制RoPE长度泛化
推荐理由：这篇论文用严谨的实验和理论揭示了位置与符号注意力在长度泛化上的本质差异，做Transformer机制研究或长上下文优化的开发者值得细读，看完会对RoPE的几何解释有更深理解。
原文
5月26日
23:21
23:21berryxia@berryxia
76°
CMU和UMD的研究者发现，大模型在多跳推理任务中表现不佳的根本原因不是内存容量，而是缺乏将上下文转化为可用内部表示的“巩固”过程。他们提出“睡眠”机制：在清空KV缓存前，让模型对当前上下文多次前向传播，将记忆沉淀进fast weights。实验显示，这一方法使多跳推理准确率提升52%，且推理延迟不变。这与当前行业狂加上下文窗口和test-time compute的方向不同，更接近人脑的睡眠记忆巩固机制。
论文推理模型多跳推理睡眠机制
推荐理由：做深度推理项目的开发者终于有了新思路——不用堆算力，而是给模型“离线整理”时间，准确率直接拉升52%，值得一试。
原文
5月17日
23:41
23:41rohanpaul_ai@rohanpaul_ai
精选76°
斯坦福大学最新论文指出，在相同的推理预算下，单个大语言模型（LLM）在多跳推理任务中通常优于多个协调的智能体系统。核心原因在于，单智能体将整个问题保留在内部思维链中，而多智能体系统需要将推理链分割成消息、摘要和交接，每次交接都是一次压缩步骤，容易丢失信息。实验在Qwen、DeepSeek和Gemini模型上验证了这一点，当思考令牌预算匹配时，单智能体系统在FRAMES和MuSiQue数据集上通常匹配或超越顺序、辩论、角色扮演和集成等设置。论文还发现，许多多智能体的优势并非来自架构本身，而是来自更多的测试时计算、更可见的推理或评估偏差。当单智能体的上下文被干扰时，多智能体管道才更具竞争力，因此建议将多智能体作为修复策略而非升级方案。
论文多智能体推理模型斯坦福
推荐理由：这篇论文戳破了多智能体系统“越多越好”的迷思，做AI推理和智能体架构的开发者看完会重新思考设计方向——先试一个强模型，别急着堆智能体。
原文