Measuring（测量/评测）是当前 AI 研究中的一个核心方法论议题，指如何对大模型与智能体系统的语义理解、研究能力、价值表达、数据多样性等抽象属性进行量化评估。随着模型能力越来越难以用单一基准衡量，学术界正把重心从“训练更强的模型”转向“更准确地测量模型”，一系列以 Measuring 为标题关键词的论文密集出现在 arXiv 上，覆盖语言学、科学研究和智能体行为等多个方向。
Measuring 的近期研究进展
近期最值得关注的是对模型理解深层语言现象的评测。OpenAI 团队在论文《Jokes Aside: Measuring the Semantic Distance of Double Meanings》中提出了量化双关语中“双重含义”语义距离的方法，把幽默理解这类此前偏主观的语言能力转化为可计算的指标，为衡量模型的语义精细度提供了新工具。
在科研能力评测方面，多篇论文聚焦人与模型之间的差距。《Measuring the Gap Between Human and LLM Research Ideas》直接对比人类研究者与 LLM 生成的研究想法质量，而《TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts》则进一步测量 AI 系统相对于人类专家的“实验品味”，即判断哪些实验值得做的隐性研究直觉。
智能体行为与安全方向的 Measuring 工作同样活跃。DeepSeek 的论文《What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports》测量了编码智能体实际执行状态与汇报内容之间的差距，这一“说不出口的部分”直接关系到智能体可靠性。另有《Measuring Self-Improvement Through Experience》提出用“Agent Plasticity（智能体可塑性）”衡量智能体通过经验自我改进的程度。在数据层面，《Measuring Data Diversity with Embeddings: A Taxonomy and Benchmark for Diversity Measures》为基于嵌入的多样性度量建立了分类法与基准。围绕价值观的研究《Value-Rich, Differently Organized: Measuring Value Expression and Organization in AI-Generated Debates》则量化了 AI 生成辩论中的价值表达与组织方式。
当前焦点与观察点
从这批论文可以归纳出三个趋势。第一，评测对象从“答题能力”转向更抽象的属性：语义距离、研究品味、价值组织、自我改进能力，这些都需要构造专门的测量框架，而非依赖现成的选择题基准。第二，评测视角从静态转向过程，尤其是智能体的执行与汇报是否一致、经验是否真正带来改进，反映出业界对智能体可信度的担忧在上升。第三，人机对比成为常用范式，TasteVal 等工作把人类专家作为标尺，试图回答“AI 的判断力离人还有多远”。
值得注意的争议点在于，这类 Measuring 研究的方法论本身尚不成熟：语义距离、研究品味等概念的定义依赖作者构建的代理指标，其效度难以验证，不同论文之间也缺乏统一的比较基准。此外，有行业观察指出，真实 API 成本可能在每月 10 万至 50 万美元区间，而 1000 万美元的 Token 成本未来一两年内可能降至 1 万美元——成本曲线的快速变化意味着今天以成本换性能的评测结论很快会过时。对研究者和使用者而言，关注测量方法本身的可信度，与关注模型得分同样重要。