Apple 研究：KL 预算下语言模型对齐的理论极限
Theoretical Limits of Language Model Alignment
Apple 这篇论文把 RLHF 和 best-of-N 的收益上限算清楚了，告诉你 KL 预算花在哪里最划算。做后训练、调采样参数的工程师可以直接拿来当理论参照，省掉不少盲试。
Apple 发布研究论文，刻画 KL 正则化对齐的信息论极限，推导出在给定 KL 散度预算下奖励提升的最大上限。论文覆盖两类主流对齐方法：强化学习（在 KL 约束下最大化期望奖励）和 best-of-N 对齐（从 N 个独立采样中选奖励最高的输出）。研究指出尽管这两种方法被广泛使用，其奖励提升在 KL 预算约束下的根本极限此前缺乏清晰理解。
论文从信息论角度给出定量刻画，说明在固定 KL 散度开销下，模型输出能被人偏好改善的程度存在理论上界，RLHF 与 best-of-N 两条路线都受此约束。这对实际工作有直接含义：当 KL 预算固定时，继续堆采样次数 N 或调 RL 超参数的边际收益可被理论预测，而不是只能靠实验试错。
对做后训练的团队来说，该结果可作为评估对齐方案效率的参照基准：衡量自己的 RLHF 或 best-of-N 流程离信息论上界还有多远，判断是采样预算、KL 系数还是奖励模型本身成为瓶颈。
Theoretical Limits of Language Model Alignment
Language model (LM) alignment improves model outputs to reflect human preferences while preserving the capabilities of the base model. The most common alignment approaches are (i) reinforcement learning, which maximizes the expected reward under a KL-divergence constraint, and (ii) best-of-NNN alignment, which selects the highest-reward output among NNN independent samples. Despite their widespread use, the fundamental limits of reward improvement under a KL budget remain poorly understood. We characterize the information-theoretic limits of KL-regularized alignment by deriving the maximum…
本条情报归属 AITOP「论文」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：RLHF、best-of-N、KL 散度、Apple，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始信息发布自一手权威信源「Apple ML Research」（Tier-1 一手发布），具备高确定性参考价值。
