#Transformer架构

共 4 条 · 7 天 1 条 · 30 天 1 条

信息流里打上「Transformer架构」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月15日

LDM 把跨层信息传递改成可检索的线性记忆，400M 与 1.5B 规模困惑度都低于 mHC 和 AttnRes。

arXiv cs.LG@David González-Martínez 等 4 人原文

9月6日

模型中美对照多源确认00:31

GPT-6用的新架构，阿里两年前就发过论文了，看看国内大厂的技术前瞻性。

量子位@一水11 个信源在谈原文

7月21日

论文精选09:47

用微分几何重新理解Transformer，给出了注意力机制是薛定谔桥、SGD是违反细致平衡的伊藤扩散等新视角，并有大模型实测验证。

arXiv cs.LG@Zhihua Liang原文

5月26日

论文精选12:20

做扩散语言模型或高效 Transformer 架构的开发者值得关注——LoopMDM 用简单循环层技巧同时省训练算力、提推理性能，直接可复现。

arXiv cs.LG@Sanghyun Lee 等 6 人原文