Banking77 是一个面向银行客服场景的意图分类基准数据集,由 77 个细粒度的银行业务意图类别和一万多条用户问句构成,常被用来测试文本分类模型与小样本学习能力。由于类别多、语义相近(如“转账失败”与“转账未到账”),它一直是衡量模型细粒度分类与意图识别能力的常见参考基准,在对话系统、客服机器人和大模型评测中都有较高出场率。
Banking77 相关的近期进展
围绕 Banking77 这类意图分类任务,近期的工作主要体现在校准、低成本微调和多模态扩展三个方向。
当前焦点与观察点
Banking77 面临的主要争议在于基准本身是否还能代表真实客服任务。一方面,随着大语言模型在该数据集上准确率接近饱和,纯文本意图分类的区分度在下降;另一方面,77 个固定意图标签的前提假设——意图集合已知且封闭——与实际业务中意图动态变化、边界模糊的情况存在差距。
值得关注的观察点有三个:一是少样本与小模型设定下的表现,因为低成本微调方案让 Banking77 重新成为验证小模型能力的测试场;二是校准与不确定性估计指标是否会被纳入评测,参考 CAPS 一类工作的发展;三是语音、多模态客服普及后,Banking77 及其后续变体是否会演进为跨模态意图识别基准。总体来看,这个老牌数据集的“榜单价值”在减弱,但作为快速验证分类与校准能力的工程基准,短期内仍会被广泛使用。