Kappa（常用指 Cohen's Kappa）是一种衡量两位评分者或分类器之间一致性水平的统计指标，它通过剔除随机猜测带来的巧合一致，比单纯的准确率更能反映真实的一致性程度。在机器学习评估、医学影像标注和文本分类等场景中，kappa 长期被作为可靠性的参考标准。
Kappa 在近期研究中的使用
在文本分类与立场检测任务中，kappa 常与 F1 等指标一同出现。例如一项基于 Bengali 数据集测量高校立场极化的研究，Llama 4 Maverick 在零样本设定下 F1 达 0.931，这类高分离不开对标注一致性的严格检验，kappa 正是评估人工标注质量的标准工具（研究用 Bengali 数据集测高校立场极化）。
在 AI 编程智能体的可靠性研究中，一致性指标同样有间接作用：该研究发现 5 个 AI 编程智能体提交的合并 PR 仍需更频繁的后续修复，且约七成修复由智能体自己完成，判断“什么算需要修复”本身就需要评分者间达成一致（研究：AI 编程智能体的合并 PR 更常需要修复）。
当前焦点与观察点
学界对 kappa 的争议主要集中在两点。一是高一致率下 kappa 值可能失真，即所谓悖论问题；二是它假设评分类别固定、评分者独立，面对大模型自动标注或连续分数时并不完全适用。
另一个值得观察的趋势是评估指标的多元化。在二分类排序分数的最优权衡研究中，研究者开始寻求解析解层面的指标组合方式，而非依赖单一数值；类似地，在医学影像质量评估和认知决策场景生成等工作中，一致性检验往往与心理测量标准结合使用。对关注模型评估的读者而言，kappa 的角色正从“唯一的金标准”转变为一致性证据链中的一环，其结论需要结合任务特性和标注成本来解读。