GIST：面向离线 RLVR 的分层训练数据选择方法

arXiv 论文提出 GIST（Gibbs-Targeted Hierarchical Data Selection），一种针对离线 RLVR 训练的两层数据选择方法。作者用 KL 正则化 RLVR 的 Gibbs 最优策略分析策略与目标之间的双向 KL 散度，发现正确回答主要通过 forward 项集中在低概率 token 上，错误回答通过 reverse 项集中在策略高频生成的高概率 token 上。GIST 利用采样温度选择正确回答和接近策略众数的错误回答，并只对失配所在的 token 施加监督。实验在 GSM8K、MATH-500 和 MBPP 上提升了三个模型在两种离线目标下的平均准确率，在 Qwen3-0.6B/GSM8K 对照实验中超过七个选择基线，且比监督全部候选 token 少用 66.6% 的 token。