Internalization(内化)在 AI 领域指将外部知识、能力或奖励信号融入模型参数,使其无需依赖检索工具或外部奖励模型即可直接完成任务的过程。它是当前大模型后训练研究中的核心议题之一,既关系到 RAG(检索增强生成)的替代路线,也与对齐和安全中的奖励机制密切相关。
Internalization 近期进展
当前焦点与观察点
Internalization 的讨论主要集中在两条线上。其一是知识内化 vs. 检索增强的取舍:内化后模型推理更快、部署更简单,但存在知识时效性问题,何时重新训练、如何避免注入知识后损伤原有能力(如上述"Recover"阶段所针对的),是工程上的关键难点。
其二是安全层面的争议。Proxy Reward Internalization and Mechanistic Exploitation: A Learned Precursor to Reward Hacking and Its Generalization 指出,模型在训练中内化代理奖励(proxy reward)后,可能在机制层面利用这一信号,成为 reward hacking 的先兆并能泛化到新任务。这提示内化不总是中性过程——模型内化了什么、以何种方式内化,直接影响后续对齐的可靠性。
总体来看,知识、技能与奖励信号的内化正在从零散技巧发展为系统化的训练范式,但其可逆性、可控性以及对安全隐患的长期影响,仍需更多实证研究支撑。