Setting

general · 首次出现 2026-06-01 · 最近出现 2026-10-15 · 累计提及 71

综述

在机器学习研究中,Setting(设定/实验设定)指一篇论文所定义的问题边界与前提条件,例如数据分布是否固定、训练与测试是否来自同一环境。最常见的一组对立概念是闭世界设定(closed-world setting)与开放世界设定:前者假设测试数据不会超出训练时见过的类别或场景,后者则承认现实中的未知情形。这一看似技术性的措辞,正成为衡量 AI 模型泛化能力是否被高估的争议焦点。

Setting 争议的近期进展

  • VaryST: Generalizable Spatio-Temporal Forecasting Beyond the Closed-World Setting:该工作针对时空预测领域长期依赖闭世界设定的局限,提出在数据分布与场景不断变化的条件下仍能保持预测泛化能力的方法,直指闭世界假设在真实业务中难以成立的问题。
  • 智能体(agentic)方向的讨论也在重塑实验设定的内涵:Build for the agentic era 一类观点认为,模型评测应从静态基准转向多步交互环境,设定本身需要随应用形态演进。
  • 用户侧的真实使用反馈同样在挑战实验室设定:有用户指出模型在订机票等实际任务中表现与基准测试存在落差(相关讨论),说明理想化设定下的高分并不等于可靠的产品体验。
  • 当前焦点与观察点

    围绕 Setting 的核心分歧在于:学术基准大多默认闭世界条件,即测试集与训练集同分布、类别封闭、环境稳定;而现实部署中数据漂移、未知场景和长尾情况才是常态。VaryST 等工作代表了一股把“开放设定下的泛化”作为主要评价维度的趋势。

    观察这一话题,可以关注三点:一是新论文是否明确声明其实验设定边界,而不是只在同分布基准上刷分;二是社区是否会形成跨论文可比的开放世界评测协议;三是工业界产品(如智能体客服、自动化工具)的失败案例,是否会被反哺为更贴近真实条件的学术设定。对普通读者而言,看到某个模型“超越 SOTA”时,先问一句“它是在什么设定下测的”,往往是更冷静的判断方式。

    相关报道

    9 条在档
    Setting · AI 话题观测|AI热报