长上下文

general · 首次出现 2026-05-22 · 最近出现 2026-11-20 · 累计提及 607

综述

长上下文指大语言模型一次性读取和推理超长文本(通常以 token 数衡量,从数十万到百万级)的能力,是当前模型竞争的核心指标之一。围绕它形成了两条路线:一是直接扩窗口,如百度、Anyscale 相继把模型推向 100 万 token;二是压成本,通过注意力结构改造、KV 缓存压缩和量化让长文本推理负担可控。

长上下文模型近期进展

  • 百度开源 ERNIE 5.5 Flash Base:2800 亿参数底座模型,支持 100 万 token 上下文:百度开源了 2800 亿参数的 MoE 基座模型 ERNIE 5.5 Flash Base,支持 100 万 token 上下文窗口(IT之家)。
  • 百度 ERNIE 5.5 Flash Base 基准测试取得同尺寸 SOTA,超越 DeepSeek-V4-Flash:该模型在同尺寸基准测试中取得 SOTA,超过 DeepSeek-V4-Flash,说明开源模型在长上下文能力上正在快速追平甚至反超。
  • Anyscale 与 Lila Sciences 将 GLM-5.3-Flash 上下文扩展至 1M tokens 用于基因组训练:Anyscale 与 Lila Sciences 合作将 GLM-5.3-Flash 的上下文扩展至 1M tokens,用于基因组序列训练,显示长上下文正从文本场景外溢到生物科学等专业领域。
  • Zyphra 推出 ZHA 分层注意力机制,开源模型免重训即可处理超长文本:Zyphra 的分层注意力方案允许开源模型无需重新训练即可扩展到超长文本,降低了长上下文的使用门槛。
  • 当前焦点与观察点

    技术争议集中在“长上下文是否真的需要那么长”。UC San Diego 的研究发现,长文本检索失败的主因是干扰内容而非长度本身(DAIR.AI);另一项研究则提出频繁压缩几乎不损失任务精度(arXiv),两者都在质疑简单堆窗口的价值。

    工程侧的焦点是推理成本。EchoKV 提出用迭代查询反馈自我修正 KV 缓存淘汰(arXiv),LoopVQ 则把 Looped Transformer 的 KV Cache 压到亚 1-bit(arXiv),思路都是让百万 token 窗口在实际部署中算得起。

    值得观察的是,百度开源 280B 参数、100 万 token 的模型与 Anyscale 的 1M token 基因组训练标志着窗口竞赛进入百万级常态,但学术界的压缩路线可能改变竞争维度——未来比拼的或许不是窗口上限,而是长文本下的检索准确率与单位 token 成本。

    相关报道

    10 条在档