置信度相关 AI 资讯 · AITOP · AI热报

8月31日

09:32

09:32

官方账号arXiv cs.AI@Hefan Zhang, Bingquan Zhang, Ming Cheng, Saeed Hassanpour, Weicheng Ma, Soroush Vosoughi

精选

研究分析了8个分类任务、2个生成任务和30个模型的语言自信与内部自信差异。分类任务中，语言自信与基于logits的自信在关联性、幅度一致性和校准性三个维度上经常不一致。生成任务中，语言自信无法有效跟踪基于语义熵的不确定性。指令微调模型通常报告更高自信，但自信差距更大且校准更差。

论文大语言模型置信度校准

推荐理由：8个分类任务+30个模型研究显示，LLM说的自信程度和实际内部自信经常不一致

8月11日

12:47

12:47

官方账号arXiv cs.LG@Lecheng Kong, Like Hui, Haitao Mao, Jun Huan

论文指出基于置信度的无验证器测试时扩展（VF-TTS）方法在复杂任务上会崩溃，因为高置信度常表示探索失败。作者提出Consilience框架，通过评估推理中置信度的时间不对称性，惩罚初始高置信度并要求最终确定性。在研究生级数学问题和自由形式代码生成实验中，Consilience优于现有基线。

论文 Consilience 测试时扩展推理模型

推荐理由：如果你做推理模型，这个框架能解决置信度评分在复杂任务上失效的问题，用时间不对称性挑出真正靠谱的答案。

7月1日

09:40

09:40

官方账号arXiv cs.LG@Zena Al-Khalili, Rafi Hakim, Dietrich Klakow, Ji-Ung Lee

Fork-Think提出一种新范式：先通过模型置信度在单条路径上识别分流点，再触发多分支采样并聚合。在三个模型和三个推理基准上，相比并行思考，Fork-Think节省了30%的token消耗和57%的推理时间，性能持平或更优。结合早停和加权投票后，无需预热即可达到现有最优方法。

AI模型 Fork-Think 推理模型推理效率

推荐理由：Fork-Think让LLM推理更省钱省时间——先找准关键点再思考，token少用30%，速度快57%，效果还不输并行方法。

5月13日

19:12

19:12

官方一手arXiv: DeepSeek@Jinyuan Wang, Ningyuan Deng, Yi Yang

精选

大型语言模型（LLM）越来越多地被用于社会科学研究，将非结构化文本转换为可进入实证设计的变量。但研究发现，LLM的置信度与真实正确率严重不匹配，导致基于置信度过滤会扭曲下游回归估计。研究对GPT-5-mini、DeepSeek-V3.2等14个社会科学构念进行审计，发现所有模型都存在校准偏差。作为解决方案，提出软标签蒸馏管道，将LLM得分和置信度转化为软目标分布，训练小型判别分类器，平均降低ECE 43.2%和Brier 34.0%。研究呼吁将校准视为测量有效性的组成部分，而非可选的后期处理。

论文 LLM 社会科学校准

推荐理由：做社会科学量化分析的团队终于有了校准LLM输出的实操方案——软标签蒸馏能显著降低置信度偏差，建议做文本编码和实证研究的点开看看具体方法。