Teacher

general · 首次出现 2026-05-22 · 最近出现 2026-11-20 · 累计提及 93

综述

Teacher(教师模型)是大模型训练中的一个核心概念,指在知识蒸馏或自蒸馏流程中为另一个模型(学生模型)提供监督信号或参考输出的模型。它可以是更大的外部模型,也可以是模型自身的历史版本。近年来,随着后训练(on-policy 训练、蒸馏、强化学习)成为提升模型能力的主要手段,教师模型的角色、质量与安全性正成为研究热点。

Teacher 相关的近期研究进展

  • TESD:用教师进化机制改进 On-Policy 自蒸馏训练:该工作提出让教师模型在训练过程中同步进化,以缓解固定教师导致的学生能力上限问题,把教师动态性引入 on-policy 自蒸馏流程。
  • ST-OPSD:用激活转向修复思维模型自蒸馏中的教师缺陷:针对推理类模型中教师输出本身含缺陷的问题,研究者通过激活转向技术在蒸馏前修正教师行为,说明教师质量直接决定学生上限。
  • 论文提出教师-图灵测试范式:以"被误认为教师"作为强化学习奖励:来自 DeepSeek 相关方向的工作把"学生输出能否被误判为教师"作为奖励信号,为教师-学生关系提供了新的训练范式。
  • OP-Print:针对在线自蒸馏模型的成员推断攻击研究:安全性方面,在线自蒸馏结构被证实面临成员推断攻击风险,教师与学生的耦合也让隐私边界更难界定。
  • 当前焦点与观察点

    围绕 Teacher 的讨论正在从"用什么大模型当老师"转向三个方向:其一是教师的动态性,固定教师还是随学生共同进化(TESD 等工作代表这一趋势);其二是教师的缺陷治理,当教师自身会出错时,如何在不重训教师的情况下修复其信号;其三是教师角色的重新定义,教师-图灵测试等范式试图弱化"教师-学生"的固定层级,让奖励来自可被识别的"教师特质"而非教师本身。

    值得关注的争议点在于:自蒸馏依赖自身作为教师,可能放大模型的既有偏差;而蒸馏链路引入的隐私与安全风险(OP-Print 所揭示的攻击面)在业界尚未形成共识性的评估标准。后续值得观察的是,动态教师机制能否在实际大规模训练中被验证有效,以及教师-学生界限的模糊化是否会催生新的评测基准。

    相关报道

    10 条在档