#SWA

共 3 条 · 7 天 1 条 · 30 天 2 条

注意力机制 2 DeepSeek 1 Kimi 1 Mistral 1 NoPE 1 transformer 1 位置编码 1 图分类 1

信息流里打上「SWA」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月17日

论文中美对照精选04:16

评论：滑动窗口注意力或是前沿模型的关键架构

一条关于注意力架构路线之争的观点：美国系初创都在用 SWA，DeepSeek 和 Kimi 则自研 MLA、NSA 这些替代方案，看两边怎么选架构挺有意思。

#SWA #DeepSeek #Kimi #Mistral

Teortaxes@teortaxesTex原文

9月30日

论文 Agent 与开发者10:25

NoPE注意力中的局部混合编码相对位置

这篇论文解释了为什么混合模型不需要显式位置编码也能处理序列位置，对理解transformer架构很有价值。

#NoPE #SWA #transformer #位置编码

arXiv cs.LG@Cutter Dawes 等 4 人原文

8月17日

随机权重平均提升数据增强效果

不用训练多次就能拿到类似深度集成的对称性提升，做数据增强的可以看看。

#SWA #数据增强 #等变性 #图分类

arXiv cs.LG@Longde Huang 等 3 人原文