#RMSNorm

共 2 条 · 7 天 1 条 · 30 天 1 条

LayerNorm 1 universal-approximation 1

信息流里打上「RMSNorm」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月16日

研究探讨归一化层对网络逼近能力的影响与宽度代价

一篇分析 LayerNorm 和 RMSNorm 放进网络里要多花多少宽度才能保住表达力的论文，结论给得很具体，做架构设计的可以看看。

#LayerNorm #RMSNorm #universal-approximation

arXiv cs.LG@Yunhao Ni 等 5 人原文

7月1日

论文精选10:56

Signed-Permutation Coordinate Transport for RMSNorm Transformers

这篇论文说清了为什么RMSNorm模型用排列对齐不够，必须考虑符号。实验数据很具体，SAE重建、情感引导效果对比鲜明，对做模型对齐和可解释性的人很有用。

#RMSNorm #TinyLlama #Qwen #坐标传输

arXiv cs.LG@John Sweeney原文