№wikitext·general
WikiText
别名
- 首次出现
- 2026-06-23
- 最近出现
- 2026-08-11
- 累计提及
- 10
§ 01综述
WikiText 近期进展
MoE路由新研究：解耦专家调度与聚合可提升性能
原文标题：研究人员在arXiv: DeepSeek上发表了关于MoE路由的新研究，提出了解耦专家调度与聚合的方法，旨在提升性能。
HOLA：为线性注意力引入海马体互补存储，提升长程召回
原文标题：在elvis上发布的HOLA研究为线性注意力机制引入了海马体互补存储，显著提升了长程召回能力。
HOLA 给线性注意力加上海马体记忆，解决长上下文遗忘
原文标题：该研究在arXiv cs.AI上发表，通过给线性注意力加入海马体记忆，有效解决了长上下文遗忘的问题。
CARVE：内容感知高效线性注意力，修正记忆盲门控缺陷
原文标题：在arXiv cs.AI上，CARVE研究提出了内容感知高效线性注意力机制，用于修正记忆盲门控缺陷。
双学习匹配：十亿参数Transformer线性连通与合并
原文标题：arXiv cs.LG上的双学习匹配研究实现了十亿参数Transformer的线性连通与合并，展现了在大型模型处理上的创新。
当前焦点与观察点
WikiText领域的研究正在不断深入，研究者们关注如何通过引入新的机制和模型来提升性能和效果。近期的研究表明，通过解耦专家调度与聚合、引入海马体记忆、内容感知的线性注意力机制等方法，可以显著提升模型的性能和长程记忆能力。同时，大型模型的线性连通与合并也成为研究的热点。