用目标冲突样本微调，提升模型指令层级遵循能力

指令层级（IH）要求 LLM 在用户请求与系统策略冲突时优先遵循系统策略。研究者将任务分解为目标和约束后发现一类现有训练集缺失的冲突类型——目标-目标冲突，OpenAI 和 NVIDIA 的 IH 训练集中都不包含该类型。在 Qwen3.5-9B 和 Gemma4-12B-it 上用这类样本微调后，模型在多个训练中未见的真实任务上 IH 表现明显提升，并入现有 IH 训练集微调也能带来更好效果。在八个基准的无冲突任务上，模型的平均效用变化微乎其微。