swin

general · 首次出现 2026-06-15 · 最近出现 2026-10-21 · 累计提及 13

综述

Swin 是 Swin Transformer 的简称,一种以“移动窗口(shifted window)”为核心设计的层级式视觉 Transformer 骨干网络,它把注意力计算限制在局部窗口内并让窗口在相邻层之间错位,从而在保持线性计算复杂度的同时获得跨窗口信息交互,目前仍是医学图像分割、遥感、检测与轻量化部署中最常见的视觉主干之一。

Swin 类骨干的近期进展

  • 在三维医学分割方向,NA-UNETR 把邻域注意力引入 Transformer 分割框架,用于左前降支动脉的 3D 分割,思路与 Swin 的局部窗口注意力一脉相承,但更强调体素邻域内的几何关系建模。NA-UNETR:邻域注意力Transformer提升左前降支动脉3D分割
  • 在注意力机制本身,NS-Attn 提出用 Newton-Schulz 迭代对注意力输出做变换,以提升 ViT 的准确率。这类工作通常与 Swin 等窗口式主干做对照实验,反映社区仍在寻找比“移动窗口”更简洁的替代方案。NS-Attn:用 Newton-Schulz 变换注意力输出提升 ViT 准确率
  • 在应用侧,可解释的补丁式深度学习被用于从集合模拟预测野火蔓延,KSSE 则尝试在稀疏图上做 Kohn–Sham 谱嵌入来完成图像分类,这些任务都偏好 Swin 这类具备多尺度感受野的骨干。可解释的基于补丁的深度学习用于从集合模拟预测野火蔓延 KSSE:稀疏图上的Kohn–Sham谱嵌入图像分类
  • 轻量化与蒸馏中的 Swin

  • OrthKD 面向轻量级糖尿病视网膜病变筛查,用异构教师做知识蒸馏,其中教师网络常选用 Swin 等强骨干,学生网络则追求移动端可用的推理成本。OrthKD:异构教师知识蒸馏提升轻量级糖尿病视网膜病变筛查
  • HumP-KD 把混合不确定性感知与多阶段渐进蒸馏结合用于火灾分类,延续了“大模型教小模型”的路线,也说明 Swin 系的预训练权重仍是常见的教师来源。HumP-KD:面向高效火灾分类的混合不确定性感知多阶段渐进知识蒸馏框架
  • 在安全评测方面,剪刀效应研究了基于 Resize 的输入多样性如何影响迁移攻击,此类工作往往把 Swin 作为被攻击或作代理模型的代表性架构之一。剪刀效应:基于Resize的输入多样性如何影响迁移攻击
  • 当前焦点与观察点

    Swin 的处境比较典型:作为成熟骨干,它很少再成为论文标题里的主角,却频繁出现在对比表格、教师模型和部署基线中。当前值得关注的焦点有三点:一是局部窗口注意力是否会被 Newton-Schulz 这类输出变换或邻域注意力进一步简化;二是医学与遥感等三维、高分辨率场景下,Swin 的窗口划分是否仍是效率与精度的最佳折中;三是蒸馏与轻量化管线中,Swin 教师能否在保持精度优势的同时压低标注与算力成本。总体看,它更像一块稳定的地基,而非仍在快速迭代的热点。

    客观而言,上述报道多来自预印本,结论尚未经过大规模复现,数字与结论应以正式发表版本为准。

    相关报道

    9 条在档
    swin · AI 话题观测|AI热报