AITOPAI热报

模型控制

共 2 条相关 AI 资讯
9月3日
08:42
6月10日
11:02
11:02官方账号arXiv cs.LG@Evgenii Kortukov, Piotr Komorowski, Florian Klein, Paula Engl, Gabriele Sarti, Seong Joon Oh, Sebastian Lapuschkin, Wojciech Samek
精选
大型推理模型（LRM）在部署时常出现意外行为，现有测试时干预方法（如激活引导）虽能控制输出，但会降低输出质量。研究发现，传统方法依赖的“检测特征”只能识别已生成文本中的行为，对未来行为预测能力差。研究者训练了激活探针，能从中间推理步骤预测未来行为概率，准确率达64%-91%。基于此，他们提出文本级引导方法FPCG（未来探针控制生成），通过采样多个候选句子并选择未来行为概率最高的一个，实现几乎无质量损失的引导。实验表明，FPCG在多个激活引导失效的场景中仍有效，为控制LRM行为提供了更精细的途径。
论文推理模型模型控制激活探针
推荐理由：这项研究解决了推理模型行为控制中输出质量下降的痛点，做模型对齐或安全控制的开发者可以直接用FPCG方法，在保持生成质量的同时精准引导模型行为。
原文