Annotation

general · 首次出现 2026-05-22 · 最近出现 2026-10-19 · 累计提及 33

综述

Annotation(标注)在人工智能领域指为数据或模型输出添加结构化标签、注释或修正信号的过程,是模型训练、评测与对齐的基础环节。随着大模型对齐数据、幻觉检测和生物信息等领域对高质量标注的需求上升,如何降低人工标注成本、让模型参与甚至自动化标注,正成为近期讨论的焦点。

数据标注的近期进展

  • onPanda: Efficient Annotation of On-Policy Alignment Data for LLMs and Agents via Token-Level Correction:该工作提出通过 token 级修正来高效标注大模型与智能体的 on-policy 对齐数据,试图减少传统偏好数据标注中的人工负担,是近期标注效率方向较受关注的研究。
  • Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged:Apple 研究团队考察了用大语言模型做翻译质量标注的效果,结论是模型和人类在这类细粒度质量判断上都面临挑战,说明“用模型替代人工标注”仍有明显边界。
  • Thom Wolf 团队开源 Carbon-A 模型,直接从 DNA 中定位基因:基因组学中的基因定位本质上是一类序列标注任务,开源模型的发布为生物序列自动注释提供了新工具。
  • QLoRA Fine-Tuning of Ministral LLM for Sequence-to-Function Protein Annotation:该研究用 QLoRA 微调 Ministral 模型完成蛋白质功能注释,展示了小型化微调方案在专业领域标注任务上的可行性。
  • 当前焦点与观察点

    当前围绕标注的讨论集中在两条线上。一是效率:onPanda 等工作尝试用 token 级修正替代逐条人工偏好标注,把标注成本压到更低的粒度;二是质量与可靠性:Apple 的翻译质量标注研究表明,即使是大模型在细粒度质量判断上也不稳定,人工审核仍不可省略。此外,工具链层面也在跟进——LangSmith Custom Apps 正式 GA 后支持用提示词生成智能体数据界面,客观上降低了标注与数据审查界面的搭建门槛。可以观察的点是:模型参与标注(model-in-the-loop)的可靠性边界,以及生物、翻译等专业领域标注任务的自动化能走多远。

    相关报道

    10 条在档
    Annotation · AI 话题观测|AI热报