decoder

Decoder 是 Transformer 语言模型中的核心组件，指自回归解码器结构——模型基于已有 token 逐个预测下一个 token，是 GPT 系列、MiMo 等主流大模型生成能力的实现基础。当前 decoder 架构的演进主要围绕注意力效率、长序列处理和智能体推理场景展开。## Decoder 架构的近期进展小米 MiMo 团队公开了 MiMo-V3 的核心架构 HySparse2，重点优化长程多轮 Agent 推理的效率，这类稀疏注意力设计直接作用于 decoder 层，以降低长上下文下的计算开销（小米公开 MiMo-V3 核心架构 HySparse2、MiMo 团队发布 HySparse2 注意力架构）。KV 缓存管理也是热点方向：一项新研究提出共享全局 KV 加层级本地历史的方案，在降低语言模型困惑度的同时压缩了 decoder 推理时的显存占用（论文提出共享全局 KV 加层级本地历史方案）。在理论层面，Graph Metanetworks 的研究将权重空间学习扩展到 Transformer 语言模型，意味着可以对 decoder 的参数本身做学习与处理，为模型编辑和迁移提供了新路径（Graph Metanetworks 将权重空间学习扩展到 Transformer 语言模型）。## Decoder 能力边界的再审视近期多项研究聚焦 decoder 结构的实际表现差异。一项针对小型语言模型的系统性研究考察了其在抽象推理任务上的能力，结果显示小规模 decoder 模型在需要多步推理的任务上仍存在明显短板（小型语言模型在抽象推理任务上的系统性研究）。另一项语音语言模型研究发现，模型对同一音位特征的听觉表征与文字表征并不一致，说明 decoder 的中间表征未必形成统一语义空间（研究显示语音语言模型对同一音位特征的听觉与文字表征并不一致）。应用侧，Meta 的 Muse 与 OpenAI 的 Dots 等消费级 AI 智能体进入日常事务场景，这类应用对 decoder 模型的长程推理稳定性提出了更高要求（Meta 的 Muse 与 OpenAI 的 Dots）。## 当前焦点与观察点围绕 decoder 的讨论呈现两条主线：一是效率工程，稀疏注意力、KV 缓存优化等方案持续压缩推理成本，使长上下文与多轮智能体场景更可行；二是能力反思，从小模型抽象推理到多模态表征一致性，研究者正更细致地检验 decoder 模型的真实水平。此外，据 the-decoder.com 报道，OpenAI 表示其 80% 至 90% 的研究资源已投向 GPT-7 及以后的模型，这暗示下一代 decoder 架构可能迎来更大规模的迭代。值得观察的是，效率优化与推理能力能否兼得，以及稀疏化架构是否会成为新一代 decoder 的默认选择。