论文13:13
Tapered Language Models：沿深度锥形分配MLP参数提升性能这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。
#Tapered Language Models
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「Tapered Language Models」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月23日
这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。