jailbreak

general · 首次出现 2026-05-22 · 最近出现 2026-11-10 · 累计提及 52

综述

Jailbreak(越狱)指通过特定提示词、编码技巧或解码手段绕过大语言模型安全对齐,使其输出本应被拒绝内容的一类攻击方式,也是当前 AI 安全领域最受关注的研究议题之一。随着模型被部署到机器人、智能体等真实场景,越狱风险已从纯文本层面扩展到物理世界,学术研究与监管机构的反应都在明显加速。

jailbreak 近期进展

  • 黑盒大语言模型受控解码攻击研究:该研究提出在不访问模型内部参数的情况下,利用受控解码方法诱导模型生成违规内容,展示了黑盒场景下越狱攻击的可行性,对仅通过 API 提供服务的模型构成新的威胁面。
  • 大模型无需微调即可遭受密码攻击:论文表明攻击者无需对模型进行任何微调,即可通过特定密码式提示让模型失效或绕过防护,说明现有安全机制的鲁棒性仍有明显缺口。
  • Anthropic Fable 5因越狱漏洞被美国政府禁两周后全球恢复:因发现越狱漏洞,Anthropic 的 Fable 5 被美国政府禁用两周,修复后已在全球范围恢复服务。监管机构直接因越狱问题干预商用模型,属于较为罕见的事件。
  • 谷歌发布 Gemini Robotics 2.5 机器人模型,已在奔驰产线试点:该模型已进入奔驰产线试点,Google DeepMind 同时为其加入机器人安全机制,将越狱防护从文本输出延伸到物理动作层面。
  • 当前焦点与观察点

    研究层面,越狱攻击正从传统提示工程向更隐蔽的技术路线演进,例如受控解码和无需微调的密码攻击,防御方难以仅靠关键词过滤应对。同时,安全对齐的 LLM 在混合合规示范下的行为研究(arXiv cs.LG)以及针对 Agentic AI 自动化攻击的防御性误导策略分析,都指向同一个问题:对齐训练本身可能被攻击者利用或绕过。

    监管层面,Anthropic Fable 5 因越狱漏洞被政府禁用两周的事件,标志着越狱已不只是学术议题,而可能直接触发产品下架。随着模型进入机器人等物理场景,越狱后果也从“输出有害文本”升级为“操控真实设备”,这可能是未来安全评测和监管讨论的核心观察点。

    相关报道

    10 条在档