#数据选择
共 11 条 · 7 天 0 条 · 30 天 3 条
信息流里打上「数据选择」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月6日
11月5日
GIST:面向离线 RLVR 的分层训练数据选择方法
一篇教你离线 RLVR 该挑哪些回答、哪些 token 来训的论文,在 Qwen3-0.6B 的 GSM8K 上比七个基线都强,还省了三分之二的监督 token。
11月2日
OT-CAL:用最优传输做自适应样本选择,训练提速1.18倍以上
一篇训练提效的论文:训练时只挑一半样本做反向传播,还比全量数据快1.2倍,比AdaSelection高1-2个点,做CV训练的可以看看
10月7日
Apple 提出 RISED:基于 rubric 的多环境智能体训练数据选择方法
Apple 的论文,讲怎么在多个交互环境里同时训练一个 LLM 智能体,用 rubric 评分挑数据,全对全错的样本也能靠自蒸馏利用起来。
10月6日
研究:RL 后训练哪些题会变好,旧 checkpoint 比先验信号预测更准
arXiv 上这篇挺有意思:想知道 RL 训练后哪些题能解出来,用别的模型训过的 checkpoint 预测,比一堆先验指标都准。
10月5日
论文19:34
LESSER:用输出层梯度做后训练数据选择,成本降低最多9.7倍做微调的朋友可以看看:LESSER 只用输出层梯度就能做数据选择,SFT 成本砍到近十分之一,效果不掉,还提供了 drop-in 接口。
8月31日
7月21日
7月3日
6月23日
5月15日
PODS:振荡式数据量调度,让模型训练更高效
PODS解决了数据选择中“选多少”被忽视的问题,做模型训练优化的团队可以直接集成到现有方法中,无需改动评分指标,值得一试。