Spectral(谱方法/谱视角)指利用频谱、特征值或奇异值等数学结构来分析或改进机器学习模型的一类技术路线。它不是单一产品或公司,而是一种横跨优化器设计、图神经网络、模型合并与图像处理的共同方法论,近一年在 AI 研究社区的出现频率明显上升,也开始进入消费级硬件领域。
Spectral 的近期进展
当前焦点与观察点
当前谱方法的研究热度集中在两个方向。其一是优化器:Muon 及其后续工作表明,基于谱范数/正交化的更新规则在大模型训练中可能具备比传统 Adam 系列更好的性质,围绕谱分配的改进仍在持续涌现。其二是模型分析与压缩:如通过谱能量决定模型合并的秩分配、利用雅可比矩阵的谱信息审计网络局部动力学,以及基于任务诱导黎曼度量做 token 剪枝等,都把谱结构当作理解模型内部机制的透镜。
值得关注的是,谱方法正从“理论分析工具”变成“工程落地组件”——索尼将其用于 PS5 的实时图形超分即是信号。不过这一路线也存在争议:谱计算(如 SVD)开销不小,在大规模训练和推理中是否真正划算,仍需更多实际部署数据验证。对研究者而言,谱视角与 Transformer、图学习、模型合并的结合,是接下来最值得跟踪的几条线索。