Sequential

general · 首次出现 2026-05-23 · 最近出现 2026-11-20 · 累计提及 84

综述

Sequential(序列建模)是机器学习中处理按时间或顺序排列数据的一类核心方法,广泛用于推荐系统、语音、时间序列预测与扩散模型采样等场景。它的基本问题是:如何从历史序列中提取依赖关系,进而预测下一步或生成完整输出。近年来,从 Transformer 到状态空间模型(SSM),序列建模的架构选择一直是学界与工业界持续讨论的话题。

Sequential 建模的近期进展

  • ADPTNet:受听觉皮层启发的非线性SSM序列建模新架构:该工作提出借鉴听觉皮层机制的非线性状态空间模型,探索 SSM 路线在序列任务中替代纯注意力架构的可能性,是当前"注意力之外"架构探索的一个代表。
  • Adapting Knowledge Graphs for Behavior Denoising in Sequential Recommendation:在序列推荐方向,这项研究利用知识图谱对用户行为序列做去噪,试图缓解噪声交互对下一步预测的干扰。
  • Knowledge Distillation across Item and Code Spaces for Parallel Generative Recommendation:与逐 token 的自回归序列生成不同,该工作通过跨物品与编码空间的蒸馏实现并行生成式推荐,反映出生成式推荐正尝试摆脱严格的顺序依赖。
  • 基于正未标记学习让扩散模型负引导实现渐近精确采样:在生成模型一侧,扩散模型的顺序去噪采样过程仍是研究热点,该文通过正未标记学习改进负引导,使采样逼近精确分布。
  • 当前焦点与观察点

    围绕 Sequential 建模,当前讨论主要集中在三条线上。其一是架构之争:SSM 等非线性循环结构能否在长序列上以更低成本逼近或超越注意力机制,ADPTNet 等工作正在给出初步证据,但尚未形成定论。其二是"去序列化"趋势:无论是并行生成式推荐,还是扩散模型的并行采样研究,都在试图削弱逐步顺序依赖带来的延迟,这在推荐和大规模生成场景中尤其受关注。

    其三是序列方法与具体任务的结合深度。离线策略评估中的最优顺序标注、机器遗忘中的顺序删除高斯机制、以及数值天气预报中 Batched NN 4D-Var 这类混合预报框架,都表明 sequential 思想正从单纯的模型架构扩展为贯穿数据处理、隐私合规与科学计算的通用范式。对从业者的观察建议是:关注架构层面的效率-质量权衡,以及顺序建模在非典型场景(科学模拟、隐私审计)中的溢出应用。

    相关报道

    10 条在档