#审计机制

论文把奖励模型过度优化类比成寻租，量化了 RL 训练中多少增益是假繁荣，还测出策略会钻审计的空子，做 RLHF 的人可以看看审计频率怎么设。