论文精选
研究发现模型检索头存在"阶段专门化"现象
精选理由
有人拆解模型内部注意力头，发现检索分工跟任务阶段有关，做长上下文和 Agent 的值得看看。
一项分析显示，模型在不同阶段依赖不同的注意力头完成检索，作者称之为 phase specialization。作者认为这种架构针对 append-only 的 agentic rollouts 做了优化，而非传统检索任务。作者还提到曾在临时构造的 NIAH 测试中观察到类似现象。
原文 · Teortaxes
«retrieval at different phases depends differently on different heads, a systematic pattern we call phase specialization» Oh man, this arch is so cursed I've seen this phenomenon in improvised NIAH tests It's optimized for append-only agentic rollouts, not retrieval jobs https://t.co/6XS27kKz0G
