论文13:03
对角状态空间模型中的门控位置：输入门控与状态门控的表达能力研究这篇论文回答了一个架构设计里常被忽略的问题：门控该看输入还是看状态。结论很实用——做上下文检索类任务（induction head）时状态门控有理论优势，做 selective copying 时输入门控更强，两者结合最好。调 Mamba 类模型架构的人值得把实验部分仔细看看。
这篇论文回答了一个架构设计里常被忽略的问题：门控该看输入还是看状态。结论很实用——做上下文检索类任务（induction head）时状态门控有理论优势，做 selective copying 时输入门控更强，两者结合最好。调 Mamba 类模型架构的人值得把实验部分仔细看看。