事件专题 ·单一信源

ICA 认证机制:为 σ 加权后训练加上有效性闸门

论文提出一种 per-sample σ 加权的 SFT/RL 混合后训练方法 DIAA(Dual-Implicit Adversarial Amplification),在锚数据中删除所有 Python fence 后,模型仍会在 MATH-500 的 29% 提示上输出未执行的 Tool-Integrated Reasoning,是 vanilla GRPO 的三倍。配对干预实验显示,抑制 TIR 可恢复 10.6 个百分点的准确率,且基于 0%-TIR 教师锚训练的学生仍会以 45.8% 的比例输出 TIR。为此论文提出 Intervention-Certified Amplification(ICA),用配对 rollout 的目标端证据对 σ 加以闸控,将 TIR 比例降到 13.8% 和 11.2%,并把 MATH-500 准确率从 47.5% 提升到 48.7% 和 49.3%,无需重调即可迁移到 GSM8K。

当前结论

这篇 arXiv 论文讲了个挺反直觉的坑:训练时删掉的坏行为会换个形式回来。作者用配对干预把问题量化,再提出 ICA 闸门修好,做后训练的值得看看

2 个信源33° AI 热度最后更新 2026/10/24 19:49:59

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。