事件专题 ·官方一手

CA-ZODPO:零阶偏好优化方法将 GPU 峰值显存降低约 59%

一篇 arXiv 论文提出 CA-ZODPO(Contrastive Activation-guided Zeroth-Order Direct Preference Optimisation),针对 DPO 依赖反向传播导致激活显存开销大的问题,改用零阶优化并构建低秩搜索子空间。该子空间由每个偏好对中 chosen 与 rejected 响应的激活差异构造,扰动被限制在该子空间内,同时在低秩坐标上保留动量,从而避免各向同性扰动带来的噪声更新。在 Qwen2.5-1.5B 与 Anthropic HH-RLHF 数据集上的实验显示,CA-ZODPO 超过常见 ZO 基线,成对偏好评估中与一阶 DPO 表现相当,序列长度 2048 时峰值 GPU 显存降低约 59%,且保持 ZO 训练随序列长度扩展的特性。 技术上的核心是用激活差异而非随机方向来引导扰动:偏好目标的梯度天然来自 chosen 与 rejected 的差值,把搜索范围压到这个差异对应的低秩子空间,等价于先验地过滤掉与目标无关的噪声方向。这一改动让零阶方法在无需反向传播的前提下逼近一阶方法的对齐质量。 对显存受限、无法做全参数反向传播的团队来说,这条路线意味着在单卡或低显存环境下也能做偏好对齐训练,代价是收敛速度可能仍受零阶采样效率影响,论文未给出训练时长对比数据。

当前结论

做 LLM 对齐但显存不够的朋友可以看看这篇。它把扰动限制在 chosen/rejected 激活差异的低秩子空间里,在 Qwen2.5-1.5B 上跑 HH-RLHF,效果接近 DPO,峰值显存省 59%。想低成本做偏好训练的团队值得复现试试。

11 个信源34° AI 热度最后更新 2026/11/16 06:55:27

证据链

11 个信源
相关来源 8PolymarketMoney
查看原文
相关来源 10The Rundown AI
查看原文

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。