论文提出 Effective Entropy:用有效性感知熵修正 RLVR 探索多样性
做 RLVR 训练的人该看看这篇。它指出 token 熵高其实是模型在乱说话,不是在探索,然后给了 VEPO 这个修法,在 MATH500 等六个数学基准上比 GRPO 准确率更高,还用统计检验验证了策略确实更多样。
做 RLVR 训练的人该看看这篇。它指出 token 熵高其实是模型在乱说话,不是在探索,然后给了 VEPO 这个修法,在 MATH500 等六个数学基准上比 GRPO 准确率更高,还用统计检验验证了策略确实更多样。
这个论文提出的方法 OBC-Prune,能更精准地识别出对推理过程至关重要的句子,从而在剪枝时保留这些关键部分,提升模型推理质量。