Teacher(教师模型)是大模型训练中的一个核心概念,指在知识蒸馏或自蒸馏流程中为另一个模型(学生模型)提供监督信号或参考输出的模型。它可以是更大的外部模型,也可以是模型自身的历史版本。近年来,随着后训练(on-policy 训练、蒸馏、强化学习)成为提升模型能力的主要手段,教师模型的角色、质量与安全性正成为研究热点。
Teacher 相关的近期研究进展
当前焦点与观察点
围绕 Teacher 的讨论正在从"用什么大模型当老师"转向三个方向:其一是教师的动态性,固定教师还是随学生共同进化(TESD 等工作代表这一趋势);其二是教师的缺陷治理,当教师自身会出错时,如何在不重训教师的情况下修复其信号;其三是教师角色的重新定义,教师-图灵测试等范式试图弱化"教师-学生"的固定层级,让奖励来自可被识别的"教师特质"而非教师本身。
值得关注的争议点在于:自蒸馏依赖自身作为教师,可能放大模型的既有偏差;而蒸馏链路引入的隐私与安全风险(OP-Print 所揭示的攻击面)在业界尚未形成共识性的评估标准。后续值得观察的是,动态教师机制能否在实际大规模训练中被验证有效,以及教师-学生界限的模糊化是否会催生新的评测基准。