#零阶优化

共 6 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「零阶优化」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月13日

一篇优化理论新论文，处理一半梯度拿不到、得靠函数值猜的场景，复杂度界和实验都给全了，做双层优化或 performative 学习的可以看看。

arXiv cs.LG@El Mahdi Chayti 等 3 人原文

9月30日

新方法1.5-SPSA让零阶训练比传统方法快1000倍，OPT-13B只需70步就超越MeZO 10万步效果。

arXiv cs.LG@Francois Chaubard 等 3 人原文

9月17日

朋友，这篇论文提出了一种叫ComPO的新方法，能更高效地让大模型符合人类偏好，比传统方法效果更好。

arXiv cs.AI@Peter Chen 等 4 人原文

7月2日

ZO-Act用激活信息锁定关键子空间，让零阶微调更稳定，在Llama-3和OPT-13B上都比旧方法强，适合显存受限的场景。

arXiv cs.LG@Xun Dong 等 6 人原文

5月28日

论文精选72°12:00

做LLM微调优化的团队终于可以省下GPU时间了——把ZO微调当推理跑，vLLM直接提速8倍，建议做低成本微调的人点开看看实现细节。

arXiv cs.LG@Zelin Li, Caiwen Ding原文

5月20日

论文精选10:18

解决了零阶优化与高秩LoRA结合时的信号坍缩问题，做大模型微调且受限于显存的开发者可以直接用AR1-ZO方法提升效果。

arXiv cs.AI@Ziye Chen 等 6 人原文