Denoising

general · 首次出现 2026-05-22 · 最近出现 2026-10-27 · 累计提及 36

综述

去噪(Denoising)是机器学习中通过移除数据噪声来恢复信号的核心技术,也是扩散模型(Diffusion Model)的基础机制——模型通过学习逐步去噪的过程来生成图像、文本等数据。当前去噪研究的重心正从传统的信号处理扩展到大模型训练、推荐系统和安全防御等多个方向。

Denoising 技术近期进展

  • 苹果研究团队发布了针对扩散语言模型训练的去噪感知信用分配方法(Denoising-aware Credit Assignment),旨在优化文本扩散模型中去噪步骤的训练效率与稳定性,见 苹果研究提出新方法优化扩散语言模型训练。
  • CoRAL 混合框架:扩散模型并行规划,自回归模型执行推理 提出将扩散模型的并行去噪生成能力与自回归模型的逐步推理能力结合,探索两者互补的混合架构。
  • 在语言建模方向,Denoising Hierarchical Representations: Joint Continuous Diffusion for Language Modeling 研究如何通过对分层表征的连续扩散与去噪来改进文本生成质量。
  • 医学成像与检测领域出现了 Score-Based Ideal Observer Approximation via Denoising Score Matching for Signal-Known-Exactly Detection Tasks,利用去噪分数匹配近似理想观察者模型,用于信号检测任务。
  • 当前焦点与观察点

    去噪技术的应用边界正在明显拓宽。除了生成模型这一主战场,近期研究还包括:Logic-Guided Graph Denoising Diffusion Models 将逻辑约束引入图结构的扩散去噪过程;Adapting Knowledge Graphs for Behavior Denoising in Sequential Recommendation 用知识图谱辅助过滤序列推荐中的行为噪声;以及 A JiT-Based Denoising Defense Method Against Adversarial Examples for Radio Signal Automatic Modulation Classification 将去噪作为对抗样本的防御手段。

    另一个值得关注的议题是模型记忆化问题。Early Signatures of Memorization in Diffusion Models via Basin Geometry and Cyclic Denoising 尝试通过循环去噪过程检测扩散模型是否记忆训练数据,这与版权和隐私争议直接相关。总体来看,去噪正从单纯的生成手段演化为贯穿训练优化、推理加速与模型安全的基础工具,扩散语言模型能否进一步缩小与自回归模型的差距,是后续观察的重点。

    相关报道

    10 条在档