first-order(一阶)是机器学习中的基础概念,指仅依赖目标函数一阶信息(如梯度)而不用二阶导数(Hessian)的优化与学习方法,也是分析算法收敛性质时“一阶最优/平稳”意义上的一阶理论。它在扩散模型、元学习、在线学习和端侧训练等方向都有活跃研究,近期进展集中在理论保证与资源受限场景下的可行性两方面。
First-order 近期进展
当前焦点与观察点
当前 first-order 相关研究的关注点大致有两条主线。一是理论刻画:无论是扩散模型反向过程的一阶平稳性,还是多臂老虎机中一阶遗憾界与 best-of-both-worlds 保证的同时达成,研究者都在追问一阶信息能带来多强的最优性保证。
二是算力受限下的落地:一阶方法因计算成本低,被视为端侧训练(如手机 NPU 上的 LoRA 微调)和元学习快速适应的天然选择。争议点在于,一阶方法省去二阶信息后是否会在收敛速度或适应质量上付出代价,不同任务下的经验结果并不一致。
观察层面,值得关注一阶理论从优化本身向扩散采样、决策监测等更广场景的迁移,以及一阶训练在消费级硬件上的真实收益是否稳定可复现。