论文05:56
LDM：用递归最小二乘做跨层记忆检索，困惑度优于 mHC 与 AttnResLDM 把跨层信息传递改成可检索的线性记忆，400M 与 1.5B 规模困惑度都低于 mHC 和 AttnRes。
#Transformer架构
共 4 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「Transformer架构」标签的资讯、产品与论文，按刊登时间排，新的在上。
10月15日
9月6日
7月21日
The Geometry of Semantic Space：Transformer架构的连续几何框架
用微分几何重新理解Transformer，给出了注意力机制是薛定谔桥、SGD是违反细致平衡的伊藤扩散等新视角，并有大模型实测验证。
5月26日
LoopMDM：循环层提升掩码扩散语言模型效率与性能
做扩散语言模型或高效 Transformer 架构的开发者值得关注——LoopMDM 用简单循环层技巧同时省训练算力、提推理性能，直接可复现。