#对齐训练

一篇把对抗训练用在诚实度上的论文，几百个样本就能让 Llama-3.3-70B 在三个诚实度基准上变靠谱，还能不掉能力。

训练偏好模型的老问题：DPO 训到后面梯度就没劲了。这篇把 sigmoid 因子当成可调信号来动态控制，三个基准上都比 DPO 强，搞对齐训练的可以看看实现思路。