Abstention

general · 首次出现 2026-07-30 · 最近出现 2026-11-14 · 累计提及 16

综述

Abstention(弃答机制)指大语言模型或分类系统在缺乏足够把握时主动拒绝对输入给出答案、转而求助人类或承认无法判断的能力。随着 LLM 被部署到医疗、客服工单、检索问答等高风险场景,一个错误回答的代价往往远高于一次“我不知道”,因此 Abstention 正从学术话题变成工程落地中的核心议题。

Abstention 近期进展

Abstention 研究当前沿两条主线推进:一是降低弃答本身的成本,二是把弃答嵌入具体的高风险决策流程。

  • 在 IT 工单分类场景中,论文《Cost-Aware Abstention for LLM-Based IT Ticket Classification》把“弃答代价”显式纳入决策:模型只有在错误的预期成本超过转人工成本时才作答,说明企业场景下 Abstention 更多是一个成本权衡问题而非纯精度问题。
  • 《Predictable Failure in Multi-Hop Retrieval: Score-Distributional Confidence Scoring and Abstention》针对多跳检索的失败往往“可预测”这一点,提出基于分数分布的置信度打分,让系统在检索链条不可靠时提前弃答,而不是输出看似流畅但错误的答案。
  • 医疗领域的讨论则更直接:《Why Calibrated Uncertainty and Deliberate Abstention Drive True Clinical AI Adoption》认为,临床 AI 能否真正进入电子病历决策流程,关键不在准确率上限,而在模型能否校准地表达不确定性并在该放手时放手。
  • 更基础的层面,《Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention》从注意力机制角度指出,现有 softmax attention 缺少“忽略无关信息”的原生能力,把 Abstention 从输出层拉回到了模型架构层面。
  • 此外,《Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support: A Multi-Domain Benchmark》用跨领域基准把保形预测与人在环弃答结合起来,为不均衡、高风险的决策支持提供了可比较的评估框架。

    当前焦点与观察点

    围绕 Abstention 的争议主要集中在三个问题上。

    第一,弃答的“度”如何设定。弃答率过低等于没用,过高则让系统形同虚设,目前主流做法是用代价敏感学习或保形预测给出带统计保证的阈值,但不同领域的最佳阈值差异很大,尚无统一标准。

    第二,置信度本身是否可靠。多跳检索和长链推理中,模型的自我报告置信度常常校准不佳,导致弃答时机失准;这也是为什么近期工作开始从注意力机制和分数分布等更底层信号入手。

    第三,弃答之后谁来接手。医疗、IT 运维等场景的共识是引入人在环,但转人工的排队成本、响应延迟和人力瓶颈如何与模型决策联动,仍缺乏成熟的系统性方案。

    可以预期,Abstention 的下一步演进方向是把“何时说不知道”和“说不知道之后怎么办”作为一个整体问题来优化,而不是当作模型输出前的独立开关。

    相关报道

    8 条在档