Rank-1 指的是在模型权重更新或修正中只引入一个秩为 1 的低秩分量(即一个向量外积)的技术思路,近年来在大语言模型微调、强化学习训练和分布外检测等多个方向上被独立采用。它的核心吸引力在于参数开销极小、训练稳定性好,同时往往能逼近甚至超过高秩方法的性能,因此成为 2025 年以来低秩适应研究中受关注的一条技术路线。
Rank-1 方向的近期进展
当前焦点与观察点
综合来看,Rank-1 相关工作的共同命题是:大模型的关键能力或可塑变化是否本质上集中于极低维子空间。如果这一假设在更多任务上成立,微调和训练的成本结构可能被显著改写——尤其是零阶优化与最小量 RLVR 训练的组合,直接挑战了“需要大规模梯度更新才能获得推理提升”的直觉。
目前值得关注的争议点包括:其一,Rank-1 轨迹外推的结论目前多基于可验证奖励类任务(如数学、代码),能否推广到开放域生成尚无定论;其二,零阶方法虽省去了反向传播,但查询效率在高维模型上仍是瓶颈;其三,几篇工作对“低秩性”的解释角度不同(训练动力学、优化查询、权重融合),尚缺乏统一的理论框架。后续可以观察这些方法能否在开源社区被复现并集成进主流训练框架,这将决定 Rank-1 是走向工程标配,还是停留在研究方向。