Looped(循环复用)是当前大模型架构研究中一个快速升温的方向,指让同一组网络层或参数在推理时被反复调用多次,用更少的参数量换取更强的表达能力。它并不是新概念,但近期在 Transformer、扩散模型和世界模型三条线上同时出现了新论文与实测,使这一思路重新受到关注。
Looped 架构的近期进展
NeurIPS 相关论文带动了 2026 年 6 月前后的集中讨论。Looped World Models:循环架构实现100倍参数效率的世界模型 提出以循环结构替代堆叠深度,在保持预测能力的同时把参数规模压缩到原来的约百分之一,成为该方向被引用较多的代表工作。
7 月起,扩散路线开始密集跟进。Looped Diffusion Transformer研究发布 与 Looped Diffusion Transformer模型发布 先后公开,随后 Amazon AGI 推出 Adaptively Looped Diffusion 语言模型,即 ALoDLM(论文发布)。其核心是让循环次数不再固定,而是按输入难度自适应调整,避免简单样本被过度计算。
训练与效率侧也有动作。Looped 模型训练新方法:利用不动点实现 KV 共享与加速 把循环过程视为求不动点,借此复用 KV 缓存以降低开销;Looped Mixture of Experts扩展定律研究 则尝试给出循环 MoE 的缩放规律。工程层面的对比也已出现,Looped Transformer 三种复用方案对比:Nanbeige 4.2 实测解析 给出了不同参数复用粒度下的实际表现差异。
当前焦点与观察点
争议集中在两点:一是循环带来的等效深度是否真能替代真实宽度,Foil 方法提出循环 MoE 训练新设计:扁平化专家并解绑注意力 等工作的思路是重构专家与注意力的绑定方式,说明结构选择仍未收敛;二是训练稳定性,循环展开会放大梯度问题,自适应循环次数与不动点方法目前只是部分缓解。参数效率的收益已多次被复现,但“少参数”是否等于“低成本”,还要看实际吞吐与显存占用。