NVIDIA Nemotron Labs 专家直播：详解 Dory Looped Transformer 模型
NVIDIA 的 Nemotron Labs 开了一场专家直播，专门讲 Dory 这个 Looped Transformer 模型的架构设计。想搞清楚循环式 Transformer 跟标准堆叠式架构差在哪、参数量怎么省的朋友，可以直接看回放。做模型结构研究或推理优化的人会有收获。
#Looped Transformer
共 5 条 · 7 天 1 条 · 30 天 3 条
信息流里打上「Looped Transformer」标签的资讯、产品与论文，按刊登时间排，新的在上。
11月11日
11月4日
LoopVQ：面向 Looped Transformer 的亚 1-bit KV Cache 量化方法
.looped 模型参数省但 KV cache 爆炸，这篇提出 0.5bit 量化方案，SGLang 实测吞吐最高涨 6.1 倍，做部署的可以看看。
10月16日
LoopAhead：面向 Looped Transformer 的推测解码框架，加速最高 7.82 倍
用循环层的早期状态提前起草 token，解码最高快 7.82 倍，输出分布不变，研究解码优化的可以看看
10月8日
Looped Transformer 三种复用方案对比：Nanbeige 4.2 实测解析
三条推文都叫 looped transformer 但完全是三种方案，选错能烧掉一周训练，这篇用 Nanbeige 4.2 实测数据帮你分清。
9月29日
Foil 方法提出循环 MoE 训练新设计：扁平化专家并解绑注意力
一篇教你怎么把 MoE 和循环 Transformer 结合的论文，Foil 把专家层数减半、循环翻倍，同等算力下预训练损失更低，代码也开源了。