稀疏专家模型路由几何与动力学共享证据
斯坦福团队揭示稀疏专家模型路由层间共享几何结构,能预测跨层路由行为,提升模型效率。
斯坦福团队揭示稀疏专家模型路由层间共享几何结构,能预测跨层路由行为,提升模型效率。
这篇论文揭示了语言模型如何以几何方式组织道德知识,发现模型能表示道德张力而非预判结果。
这篇论文用几何视角解释LLM评判偏见,发现偏见隐藏状态的低维子空间,还能预测模型在未知基准上的失败,挺有意思。
做分布对齐或几何数据处理的团队,CDOT 解决了传统 GW 非凸优化不稳定的痛点,可以直接用这个凸框架提升效果,建议点开看理论证明和实验对比。
对理解大模型内部机制的研究者来说,这篇论文揭示了计数任务背后的几何结构,值得深入阅读。