#偏好优化

训练时偏好数据常有标注噪声，这套方法能在 token 级别识别并压低被污染 token 的影响，而且只加一次前向传播，训练成本几乎不变。做 RLHF 或 DPO 微调的团队可以直接用他们开源的代码试试，和序列级方法比抗噪能力更强。

做偏好优化训练的可以看看：给 DPO 打了个闭式诊断指标，能提前判断冲突数据会不会让安全分、长度这些约束越训越差。

这篇论文针对医学影像诊断模型瞎猜答案的问题，用熵门控的强化学习把训练火力集中在模型最拿不准的病例上，六个基准涨到 61.2%。

训练偏好模型总学到不该学的关联？这篇论文用平局样本解决了，还告诉你怎么挑最有用的那些，实验覆盖到大语言模型。

这篇论文让模型自己改训练用的评分标准，再用改好的 rubric 做 DPO。结果很诚实：有的提升有的回退，适合做偏好优化的人看看细节。

训练偏好模型的老问题：DPO 训到后面梯度就没劲了。这篇把 sigmoid 因子当成可调信号来动态控制，三个基准上都比 DPO 强，搞对齐训练的可以看看实现思路。

这篇论文用依赖解析器代替人工标注做偏好优化，北欧三种低资源语言上效果提升明显，做多语言模型的人可以看看。

做环境监测或灾害预测的团队，EAPO 解决了分布漂移下罕见事件难检测的痛点，值得在类似长尾预测任务中试试。

该研究从图论视角重新审视偏好对齐，解决了DPO在多响应数据上的局限性，对提升模型训练效率和稳定性具有实际指导意义。