#KL 散度

Apple 这篇论文把 RLHF 和 best-of-N 的收益上限算清楚了，告诉你 KL 预算花在哪里最划算。做后训练、调采样参数的工程师可以直接拿来当理论参照，省掉不少盲试。