#looped model

如果你关心 looped 模型的训练效率，这篇论文给出了一套实在的改进，KV cache 缩小 3 倍还不掉点。