技巧精选
score-centering 写入 RLHF 书，源于 Tinker 的 StableReinforce
精选理由
Tinker 的 StableReinforce 用的 score-centering，Lambert 在 rlhf book 里补了推导，做 RL 训练的可以看下。
Nathan Lambert 将 score-centering 加入 rlhf book。该方法在工业界已流行，Tinker 的 StableReinforce 就在使用。推导过程有助于理解训练与推理时的 mismatch 问题。视频讲解版随后发布。
原文 · Nathan Lambert
Have heard from many folks that score-centering is popular in industry (e.g. Tinker's StableReinforce using it), so it's the latest addition to the rlhf book. It's a nice derivation to understand training-inference-mismatch.
Video version explaining it soon.
