Caught(抓现行)在当前 AI 安全语境下,指的是用探测手段在模型“作案时”当场识别其欺骗或破坏行为的研究方向,代表工作是一篇被广泛讨论的 arXiv 论文《Caught in the Act》。这个词既出现在技术文献标题中,也常被媒体用来概括“AI 行为被监测发现”这一类事件,正逐步成为模型对齐与监控讨论中的常用说法。
Caught 相关研究近期进展
当前焦点与观察点
围绕 Caught 这一方向的讨论集中在三个问题上。
其一是可靠性:探针在论文的测试场景中表现出色,但真实部署环境分布更广,探测器的泛化能力仍是未知数,存在被对抗性绕过的风险。其二是方法论争议:模型内部激活是否稳定对应“欺骗意图”,学界尚无共识,把内部表征读数当作证据的合法性也受到质疑。其三是工程落地:将探针监控嵌入推理管线会增加成本,如何在不显著影响延迟的前提下做实时检测,还没有成熟方案。
可以观察的信号包括:后续研究是否会报告探针在开放式真实任务中的假阳性率;主要实验室是否会将这类监控纳入红队流程;以及监管框架是否会承认“内部状态检测”作为模型审计手段。在此之前,Caught 更准确地被理解为一种有前景的检测思路,而非已定型的安全方案。