Quantification(量化)在机器学习语境下通常指不确定性量化(Uncertainty Quantification, UQ),即让模型在给出预测的同时,估计这一预测的可信程度。随着大模型和深度学习进入医疗、工业数字孪生等高风险场景,"只输出概率还不够"已成为学界共识,如何系统性地度量与传播不确定性,正在成为模型可信度研究的核心议题之一。
不确定性量化的近期进展
大语言模型的不确定性量化是最活跃的方向。一篇题为 Black-Box Uncertainty Quantification for Large Language Models via Ensemble-of-Ensembles 的工作提出"集成的集成"方法,在不访问模型内部(黑盒条件)下估计 LLM 回答的可信度,适合只能调用 API 的场景。另一项研究 Probability is Not Enough: Exploring and Counting Divergent Tokens for Reasoning Uncertainty Quantification in LLMs 则指出,仅靠输出概率不足以反映推理类任务的风险,作者通过探索并统计"分叉 token"的数量来衡量模型推理路径的不确定性。
在应用系统层面,Integrating Machine Learning and Uncertainty Quantification for Real-Time Decision-Making in Digital Twins 以系统为中心综述了 UQ 在数字孪生实时决策中的作用,强调量化结果必须能直接支撑控制与决策,而非停留在事后分析。
方法侧的进展也很密集:Washout-free Echo State Networks Deployment 用集成滤波同步解决了回声状态网络的免冲洗部署问题,并附带不确定性估计;Adaptive Uncertainty Quantification on Simplicial Complexes with Conformalized Simplicial Neural Networks 将共形预测引入单纯复形上的神经网络,提供带覆盖保证的自适应量化;Asymptotic-Preserving Tensor Neural Networks 则把保渐近性质的张量神经网络用于三维高场动理学方程的 UQ 计算。Uncertainty Quantification in Pairwise Difference Learning for Classification 进一步补上了成对差分学习分类场景的量化空白。
当前焦点与观察点
从这些工作看,Quantification 领域的焦点有三个。其一是黑盒化:模型能力越来越强但越来越封闭,UQ 方法需要摆脱对梯度、权重或 logits 的依赖。其二是从"输出概率"到"过程可信":针对推理型任务,仅统计 token 概率不足以捕捉多解分叉带来的风险。其三是落地约束:数字孪生等场景要求不确定性度量在实时性、可解释性和决策可用性之间取得平衡。值得关注的是,共形预测这类带统计保证的方法正在从标准数据结构(表格、图像)扩展到单纯复形、微分方程求解等更复杂的对象,说明不确定性量化正在从附加模块演化为方法设计中的内生约束。