#PORT

训练时偏好数据常有标注噪声，这套方法能在 token 级别识别并压低被污染 token 的影响，而且只加一次前向传播，训练成本几乎不变。做 RLHF 或 DPO 微调的团队可以直接用他们开源的代码试试，和序列级方法比抗噪能力更强。