AITOPAI热报

Prediction

general · 首次出现 2026-05-22 · 最近出现 2026-10-23 · 累计提及 293

综述

Prediction(预测)是人工智能中最核心的任务范式之一:无论是大语言模型通过下一个 token 预测生成文本、世界模型对环境动态的推演,还是自动驾驶对轨迹的预判,都建立在某种形式的预测机制之上。近期围绕预测的进展集中在三个方向:让模型一次预测多个 token 以提升解码速度、让世界模型更准确地预测场景物理属性,以及在轨迹预测等具体任务中引入不确定性建模。

多 token 预测(MTP)成为提速热点

  • AMTP:自适应多 token 预测让 Llama-3.1 解码提速至 4.1 倍:传统大模型每次只预测下一个 token,而多 token 预测尝试一次输出多个 token 再验证。AMTP 引入自适应机制,在 Llama-3.1 上实现最高 4.1 倍解码加速,说明预测粒度的调整可以直接转化为推理效率。
  • OpenRouter 上架采用 Hybrid Mamba-Transformer MoE 架构的多标记预测模型:多 token 预测正从论文走向可用产品,混合 Mamba-Transformer 与 MoE 架构的模型已可通过推理平台调用,基础设施层面也开始配套支持。
  • ReplaySSM 优化 Mamba2 推理:vLLM 支持 SSM 输入缓存与 MTP:vLLM 为状态空间模型加入输入缓存并原生支持 MTP,表明多 token 预测已被主流推理框架纳入标准能力。

    • 世界模型与具身场景中的预测

  • PhysiCalWorld:通过上下文校准让世界模型感知场景物理属性:世界模型的本质是对未来的预测,但现有模型常忽略质量、摩擦等物理量。PhysiCalWorld 用上下文校准让模型在预测时感知物理属性,直指预测准确性的一个关键短板。
  • X-TRACK 引入不确定性建模,改进高速公路轨迹预测:轨迹预测不仅要"猜得准",还要知道自己"有多不确定"。X-TRACK 将不确定性建模引入高速公路场景,反映预测任务正从单点输出转向概率化表达。

    • 当前焦点与观察点

    预测范式正在两个层面同时演化:一是效率层面,多 token 预测配合 Mamba 等新架构和 vLLM 等推理框架,正在压缩大模型的推理成本;二是质量层面,物理属性感知和不确定性建模表明,单纯的"预测得像"还不够,预测结果需要符合物理规律并给出置信度。值得关注的问题包括:自适应多 token 预测能否在不同模型规模上稳定复现 4.1 倍这类加速;世界模型的物理一致性校准能否迁移到机器人控制等闭环场景;以及概率化预测在高风险决策(如自动驾驶)中如何与安全验证体系对接。

    相关报道

    10 条在档