CA-ZODPO:零阶偏好优化方法将 GPU 峰值显存降低约 59%
做 LLM 对齐但显存不够的朋友可以看看这篇。它把扰动限制在 chosen/rejected 激活差异的低秩子空间里,在 Qwen2.5-1.5B 上跑 HH-RLHF,效果接近 DPO,峰值显存省 59%。想低成本做偏好训练的团队值得复现试试。
做 LLM 对齐但显存不够的朋友可以看看这篇。它把扰动限制在 chosen/rejected 激活差异的低秩子空间里,在 Qwen2.5-1.5B 上跑 HH-RLHF,效果接近 DPO,峰值显存省 59%。想低成本做偏好训练的团队值得复现试试。