#Anthropic HH-RLHF

共 1 条 · 7 天 1 条 · 30 天 1 条
信息流里打上「Anthropic HH-RLHF」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月17日
论文Agent 与开发者多源确认13:30
CA-ZODPO:零阶偏好优化方法将 GPU 峰值显存降低约 59%

做 LLM 对齐但显存不够的朋友可以看看这篇。它把扰动限制在 chosen/rejected 激活差异的低秩子空间里,在 Qwen2.5-1.5B 上跑 HH-RLHF,效果接近 DPO,峰值显存省 59%。想低成本做偏好训练的团队值得复现试试。

事件专题
arXiv: Anthropic@Weiyun Huang, Alessio Galatolo原文