条件数相关 AI 资讯 · AITOP · AI热报

8月4日

12:08

12:08

官方账号arXiv cs.LG@Honghao Lin, Vahab Mirrokni, David P. Woodruff

精选

arXiv:2608.02588 的论文证明了稀疏最小二乘问题的一个条件数下界：在随机化精确体积小集扩张假设（Small-Set Expansion Hypothesis）下，对任意固定的 γ∈(0,1]，不存在多项式时间随机算法能以至少 2/3 概率返回满足误差不超过最优值加 ε、且稀疏度 s=O(k·κ_{s+k}^{1-γ}) 的解。该结果甚至对有理数实例、A 为列满秩时也成立。作者表示，证明最初由 Google 内部开发的基于 Gemini 的自动化智能体系统完成，随后由人工验证并整理。

论文稀疏最小二乘条件数 Small-Set Expansion

推荐理由：Google用Gemini自动化系统先跑通了证明，人工再验证。你要是做稀疏优化或条件数相关算法，看看这个下界怎么证的。

7月27日

10:56

10:56

官方账号arXiv cs.LG@Jianghui Wang, Silong Yong, Francesco Orabona, Marco Canini, Katia P. Sycara, Yaqi Xie

新方法 κ-LoRA 发现 LoRA 微调中并非所有低秩矩阵都同等重要：条件数（最大与最小奇异值之比）小的矩阵对不同方向已平衡，贡献甚微；条件数大的矩阵包含未充分开发的方向，驱动大部分性能提升。基于此，κ-LoRA 只更新条件数最大的前 50% 权重矩阵，使可训练参数量减半，微调时间平均降低 16.2%，内存开销减少 4.5%，且精度与标准 LoRA 持平。实验表明，被选矩阵的条件数在训练中持续下降，说明方法有效性来自定向谱平衡而非单纯参数选择。

AI模型 LoRA κ-LoRA 条件数

推荐理由：如果觉得 LoRA 微调大模型太费钱，κ-LoRA 只挑条件数大的矩阵来更新，参数量砍半，速度提升 16%，精度不降，值得试试。