Validity(有效性)在人工智能语境下泛指模型输出、解释或决策是否真正成立、可用且可信的属性,正在从数据科学中的传统概念演变为 AI 安全与评估研究的核心议题。它涵盖多个具体方向:模型预测结果的有效性、LLM 给出解释的可用性、多智能体系统中记忆信息的时效正确性,以及评估方法本身是否测到了想测的东西。近期多篇 arXiv 论文显示,"validity"已从单一指标上升为贯穿训练、评估与治理的横切关注点。
Validity 的近期研究进展
当前焦点与观察点
综合来看,当前的讨论集中在三条线上:一是"正确但无用"的输出问题——模型答案在字面上成立却无法指导行动,recourse validity 等概念试图将这种差距量化;二是评估工具自身的有效性——试验模拟器、偏好评估等方法被要求证明测到的是因果关系而非表面模式;三是动态系统中的有效性维护——多智能体记忆、训练后流程都需要显式的有效性门控或治理机制。值得观察的是,这些工作尚未形成统一的 validity 框架,多数停留在提出概念与基准的阶段;医疗等高风险场景(如 临床 AI 决策轨迹审计)是否会率先采纳这类有效性审计标准,可能是下一个落地节点。