Annotation(标注)在人工智能领域指为数据或模型输出添加结构化标签、注释或修正信号的过程,是模型训练、评测与对齐的基础环节。随着大模型对齐数据、幻觉检测和生物信息等领域对高质量标注的需求上升,如何降低人工标注成本、让模型参与甚至自动化标注,正成为近期讨论的焦点。
数据标注的近期进展
当前焦点与观察点
当前围绕标注的讨论集中在两条线上。一是效率:onPanda 等工作尝试用 token 级修正替代逐条人工偏好标注,把标注成本压到更低的粒度;二是质量与可靠性:Apple 的翻译质量标注研究表明,即使是大模型在细粒度质量判断上也不稳定,人工审核仍不可省略。此外,工具链层面也在跟进——LangSmith Custom Apps 正式 GA 后支持用提示词生成智能体数据界面,客观上降低了标注与数据审查界面的搭建门槛。可以观察的点是:模型参与标注(model-in-the-loop)的可靠性边界,以及生物、翻译等专业领域标注任务的自动化能走多远。