LSC-DPO：动态控制学习信号的偏好优化新方法

论文提出 LSC-DPO，从损失函数几何视角分析 DPO，将 sigmoid 因子视为刻画目标局部敏感度的学习信号。该方法动态调节学习信号使其保持在目标区间，并给出对数空间下的稳定追踪条件。在 AlpacaEval 2、MT-Bench 和 Anthropic-HH 三个基准上，LSC-DPO 的成绩稳定优于 DPO 及其他强偏好优化基线。作者还发现不同系数初始化会导致瞬态学习信号轨迹不同，据此推导出信号预算补偿规则，显著降低了不同初始化之间的性能波动。