Construct-Validity(构念效度)是心理测量学中的核心概念，指一项测量工具是否真正测到了它声称要测的理论构念。在 AI 评测语境下，它关注的是：基准测试分数、时间视界估计等指标，究竟在多大程度上反映了模型的真实能力，而非任务设计或评分方式带来的偏差。随着大模型评测成为 AI 治理的基础设施，这个原本属于社科方法论的概念正在成为 AI 评测研究的关键词。
Construct-Validity 在 AI 评测中的近期进展
近期多项 arXiv 研究将构念效度方法引入 AI 领域。在 AI 能力预测方面，《On the estimation and validity of AI time horizons---a statistical look at the METR plot》(https://arxiv.org/abs/2610.12466v1) 从统计学角度审视了广被引用的 METR '任务时长视界' 曲线，讨论其估计方法与外推是否具备测量学意义上的有效性——这一曲线常被用于推测模型何时能完成更长的人类任务。
在安全评测方面，《Searching for "Harmful Refusal": A Psychometric Audit of an AI Safety Benchmark》(https://arxiv.org/abs/2610.12409v1) 对一个 AI 安全基准做了心理测量学审计，发现其并非在测量单一'拒答倾向'构念，指出分数背后可能混杂了多种被混淆的因素，这是典型的构念效度检验。
面对缺乏标准答案的开放任务，《Validity Without Ground Truth: What Stated-Preference Economics Offers the Evaluation of Language Models》(https://arxiv.org/abs/2610.10506v1) 借用陈述偏好经济学的方法，为没有真值参照的语言模型评估提供效度框架。
更应用层面的例子是《Recovering Expert Critic-Sourced Network Adjacency between Musical Artists from Acoustic Distributions: A Construct-Validity Approach》(https://arxiv.org/abs/2608.27291v1),作者把专家乐评构建的艺人关系网络当作待测构念，检验声学分布能否'测出'这一结构，展示了构念效度思路在机器学习任务验证中的直接用法。
当前焦点与观察点
目前的共识是：AI 评测正在从'追求数字'转向'审视指标本身'。METR 时间视界、拒绝率基准等指标被广泛引用于政策和能力预测，但它们是否测到了声称的能力，仍需系统的效度证据。争议点在于：当没有真值标准时，效度只能通过汇聚证据间接论证；同时模型对基准的过拟合(评测污染)会直接削弱构念效度。值得关注的观察点包括：心理测量学方法能否成为 AI 评测的常规审计流程，以及评测机构是否会效仿心理测量行业公开构念定义与效度证据。