Splits(数据划分)指在机器学习中将数据集切分为训练集、验证集和测试集等子集的做法,是衡量模型泛化能力的基础环节。2025 年以来,随着 Agent 框架、端侧大模型和跨工艺预测等新场景兴起,如何设计更贴近真实分布的 split、避免信息泄漏,正在成为工程实践与学术研究中被重新审视的问题。
Splits 相关的近期进展
当前焦点与观察点
当前围绕 splits 的讨论主要有三条线。其一是评测的可信度:基准测试若存在 train/test 重叠或划分不当,得出的模型排名会失真,行业对“分数水份”的警惕正在提高。其二是 Agent 场景的泛化评估:openJiuwen TTSE 等框架把事实与提示分开沉淀,意味着经验数据的划分方式直接决定智能体能否稳定迁移,而不是只在 demo 里表现良好。其三是工业小样本场景:如上述量子机器学习论文所示,当数据量有限时,split-to-split 的方差比单次测试集分数更能反映模型的真实水平。
值得注意的是,随着 SuperAI 峰会等活动中从业者普遍认同“能落地的 Agent 才是赢家”,业界对评测的期待正从跑分转向真实部署环境下的表现。这意味着未来 splits 的设计可能不再只是随机切分,而是要模拟真实业务中的分布漂移与未见场景。对于关注 AI 模型评测与落地的读者,split 的粒度、来源与方差指标,值得比单一榜单分数投入更多注意力。