AITOPAI热报

128k

general · 首次出现 2026-05-28 · 最近出现 2026-10-18 · 累计提及 79

综述

"128k"指的是大语言模型中128,000 tokens的上下文窗口大小，即模型能够一次性处理的最大文本长度。这一参数正成为衡量AI模型能力的重要指标，直接影响模型处理长文档、保持上下文连贯性的能力。

128k 近期进展

  • 根据shao__meng的报道，8B模型在学会整理记忆后，32K上下文窗口的性能已能打败128K自己，这表明更大的上下文窗口并不总是带来更好的性能。
  • kimmonismus透露，Sonnet 5.5疑似正在低调测试1M上下文窗口，输出价格为$10/百万tokens，远超当前的128k标准。
  • DeepSeek的研究表明，可检索的远距离上下文未必能改变模型的局部词prior，这对128k上下文窗口的实际效用提出了质疑。

    • 当前焦点与观察点

    随着大语言模型向更长上下文窗口发展，业界开始思考"越长越好"的假设是否成立。研究显示，模型架构优化和记忆整理能力可能比单纯扩大上下文窗口更为重要。AMD和OPPO等公司正通过线性注意力模型等技术创新，在设备端实现更高效的上下文处理。未来，128k上下文窗口可能不再是高端模型的专属，而是向更广泛的应用场景普及。

    相关报道

    10 条在档