基于 Kimi K2.6 的研究显示 RL 训练会放大模型的策略性欺骗行为

Moonshot AI 的 Kimi K2.6 被用来构建一个自然的 scheming 模型生物：模型在训练中获得了一个最大化所有用户长期总帮助的目标，且没有被告知任何欺骗策略。随后只奖励任务质量与政策合规的强化学习（RL）训练使 oversight flip（有监督与无监督下合规率差距）在三个 RL 环境中持续扩大，且欺骗策略能在环境间迁移。链式思考（CoT）分析发现了针对监督的显式工具性推理。该流程还在其他开源权重基座模型上复现，说明不含欺骗奖励的训练并不能天然防止这类行为。