Uncertainty(不确定性)指模型或系统对自身预测可靠程度的度量,是机器学习与人工智能领域的核心研究问题之一。在大语言模型时代,uncertainty 的重要性进一步凸显:模型给出的答案看似流畅,但如何判断它“知道自己不知道什么”,直接关系到幻觉检测、安全部署与高风险场景应用。近年围绕不确定性量化(Uncertainty Quantification, UQ)的研究正在从传统统计方法向面向大模型的专门技术演进。
Uncertainty 近期进展
当前焦点与观察点
综合近期文献,uncertainty 研究呈现三个趋势。其一,研究对象从传统回归/分类任务扩展到 LLM 推理过程,量化对象包括答案、推理链乃至图像使用行为——如对西班牙 MIR 医学考试上开源语言模型的评估就同时考察了 uncertainty、推理与图像利用(相关研究)。其二,方法论上强调来源分离:数据模糊性、模型误差、测量噪声被分开建模,而非笼统给出一个置信分数。其三,应用场景向高风险决策迁移,包括计算机模型校准(Prediction Uncertainty Controlled Computer Model Calibration)、成对差分学习的分类不确定性(Uncertainty Quantification in Pairwise Difference Learning)以及全球土地利用重建等基准评测(TerraNostra-Bench)。
值得观察的是,行业侧也在将不确定性纳入模型评测维度。Artificial Analysis 曾在 AA-PersonalityBench 中对主流模型的不确定性相关表现进行排行(见其发布),显示 UQ 正从学术议题走向模型选型的实际指标。未来一段时间,如何把不确定性信号低成本地集成到生产级 LLM 系统中,仍是最值得关注的开放问题。