#位置编码

共 9 条 · 7 天 0 条 · 30 天 2 条

LoCA 1 NoPE 1 Sentinel-1 1 Sentinel-2 1 SWA 1 transformer 1 Transformer 理论 1 单头注意力 1

信息流里打上「位置编码」标签的资讯、产品与论文，按刊登时间排，新的在上。

11月2日

论文10:18

单头注意力位置实现性理论：解释长度泛化为何依赖位置编码

解释了为什么绝对位置编码难做长度泛化、相对的却行，还给出训练前就能算出来的判据 α_L，做理论的人都该看看推导。

#长度泛化 #位置编码 #单头注意力 #Transformer 理论

arXiv cs.LG@Jiasong Han 等 3 人原文

10月26日

论文 Agent 与开发者11:56

LoCA：让地理位置编码器支持多模态输入

arXiv 上这篇讲地理位置编码怎么接入 Sentinel-1/2 双模态的论文，17 个任务里赢了 68.8%，做地理空间模型的可以看看。

#LoCA #Sentinel-1 #Sentinel-2 #位置编码

arXiv cs.LG@Panagiotis Koromilas 等 10 人原文

9月30日

论文 Agent 与开发者10:25

NoPE注意力中的局部混合编码相对位置

这篇论文解释了为什么混合模型不需要显式位置编码也能处理序列位置，对理解transformer架构很有价值。

#NoPE #SWA #transformer #位置编码

arXiv cs.LG@Cutter Dawes 等 4 人原文

8月14日

模型01:25

SCoPE：用于视频扩散Transformer的视线坐标位置编码

腾讯ARC开源了SCoPE，一种视频扩散Transformer的位置编码，搞视频生成可以试试。

#SCoPE #TencentARC #视频生成 #位置编码

AK@_akhaliq原文

8月5日

论文11:08

MDLMPE：面向掩码扩散语言模型的分布感知位置编码

掩码扩散模型的位置编码一直照搬自回归那套，MDLMPE 第一个把遮盖状态算进去，在 LLaDA 和 DREAM 上效果更好。

#MDLMPE #LLaDA #DREAM #位置编码

arXiv cs.AI@Tong Ling 等 8 人原文

7月9日

论文精选09:55

数据影响RoPE频率使用的机制：从位置尺度匹配到长度泛化

这篇论文解释了为什么RoPE在训练中某些频率更常用，还教你用频率缩放来扛更长上下文，很实用。

#RoPE #位置编码 #长度泛化 #频率匹配

arXiv cs.LG@Xinyi Wu 等 3 人原文

6月17日

论文精选10:15

注意力的函数等价性：位置编码如何改变Transformer对称性

这篇论文解释了为啥RoPE比Sinusoidal位置编码更受青睐——它减少了参数空间的对称性，让Transformer表达力更强。如果你好奇背后的理论，值得一看。

#Transformer #RoPE #位置编码 #注意力机制

arXiv cs.LG@Viet-Hoang Tran 等 5 人原文

论文09:41

相似性位置编码simPE在旋转下的鲁棒性：理论分析与实验验证

这篇论文证明了simPE在图像旋转下比标准位置编码更稳，用四个数据集给出了理论界和实验验证，做视觉Transformer的值得看。

#simPE #位置编码 #鲁棒性 #旋转不变性

arXiv cs.AI@Andrea Santomauro 等 3 人原文

6月11日

论文精选12:38

nD-RoPE：将旋转位置编码推广到任意维度

nD-RoPE 解决了高维位置编码缺乏统一理论框架的问题，做视觉、视频或点云 Transformer 的开发者可以直接用，能显著提升模型对空间结构的理解能力。

#位置编码 #RoPE #Transformer #高维表示

arXiv cs.AI@Boyang Li 等 8 人原文