#Lattice of Latents

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Lattice of Latents」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月17日
Latent Lattice语言模型:用持久横向潜态流降低困惑度

这篇论文把"加大每步计算状态"当成独立扩展维度,而不只是加深层数或加残差连接。406M 参数就在 FineWeb-Edu 20B 上把困惑度从 15.41 压到 14.40,还能和 hyper-connections、Mamba-2 这类已有架构叠加。做模型架构或研究线性注意力的开发者可以看看,思路可能影响下一代小模型设计。

arXiv cs.LG@Shivam Duggal 等 6 人原文