BeNice!:让循环架构共享 KV 缓存,推理内存大幅下降
循环模型每次循环都要单独存一份 KV 缓存,内存爆炸。这篇论文的两阶段训练方法让缓存能跨层共享,首 token 时间砍了 83.6%,做长推理的可以看看。
循环模型每次循环都要单独存一份 KV 缓存,内存爆炸。这篇论文的两阶段训练方法让缓存能跨层共享,首 token 时间砍了 83.6%,做长推理的可以看看。
朋友,有个新论文,用循环架构和新的训练方法,让模型推理能力更强了,比之前的循环模型效果更好。
这篇论文用循环架构解决了世界模型长程预测的计算瓶颈,参数省了100倍还能自适应深度,做仿真和规划的研究者值得看。