arXiv 新论文提出 PISO:零阶残差追踪应对部分梯度不可见优化
一篇优化理论新论文,处理一半梯度拿不到、得靠函数值猜的场景,复杂度界和实验都给全了,做双层优化或 performative 学习的可以看看。
一篇优化理论新论文,处理一半梯度拿不到、得靠函数值猜的场景,复杂度界和实验都给全了,做双层优化或 performative 学习的可以看看。
做多概念图像生成的团队终于有了一个兼顾保真度和可扩展性的方案——SeqLoRA 用双层优化解决了 LoRA 的干扰问题,支持上百个概念组合,做个性化扩散模型的开发者值得一试。
该工作从理论上攻克了下层为极小极大结构这一长期难点,提出的罚函数框架简洁优雅,且对凸约束问题实现了复杂度数量级改进,将推动智能体对抗训练、多任务学习等领域的实际算法设计。