在机器学习研究中,Setting(设定/实验设定)指一篇论文所定义的问题边界与前提条件,例如数据分布是否固定、训练与测试是否来自同一环境。最常见的一组对立概念是闭世界设定(closed-world setting)与开放世界设定:前者假设测试数据不会超出训练时见过的类别或场景,后者则承认现实中的未知情形。这一看似技术性的措辞,正成为衡量 AI 模型泛化能力是否被高估的争议焦点。
Setting 争议的近期进展
当前焦点与观察点
围绕 Setting 的核心分歧在于:学术基准大多默认闭世界条件,即测试集与训练集同分布、类别封闭、环境稳定;而现实部署中数据漂移、未知场景和长尾情况才是常态。VaryST 等工作代表了一股把“开放设定下的泛化”作为主要评价维度的趋势。
观察这一话题,可以关注三点:一是新论文是否明确声明其实验设定边界,而不是只在同分布基准上刷分;二是社区是否会形成跨论文可比的开放世界评测协议;三是工业界产品(如智能体客服、自动化工具)的失败案例,是否会被反哺为更贴近真实条件的学术设定。对普通读者而言,看到某个模型“超越 SOTA”时,先问一句“它是在什么设定下测的”,往往是更冷静的判断方式。