部分可训练神经网络近似误差出现相变
论文算出:只训练不到 5% 的神经元就能拿到几乎全部的近似精度提升,做科学计算或网络压缩的可以看看这条数学依据。
论文算出:只训练不到 5% 的神经元就能拿到几乎全部的近似精度提升,做科学计算或网络压缩的可以看看这条数学依据。
这篇论文揭示了生成模型中语义分化与上下文窗口的关系,解释了为什么语义结构会同时出现。
Anthropic研究解释了模型宽度和数据统计如何共同影响表示和损失,帮助理解大模型的表示扩展。
一个很酷的模型,用类似俄罗斯方块形状的滤波器来处理量子模拟器的数据,能更直观地理解相变过程。
朋友,DeepSeek 的研究者们搞了个新方法叫 Quenched Ensemble Sampling,专门解决物理系统相变时的采样问题,比 tempering 更厉害,还能用在模型比较里。