MetaPI 把智能体基准测试改造成提示注入攻击任务
写智能体的朋友注意：这个叫 MetaPI 的方法能直接在你现有的 AppWorld 或 Terminal-Bench 环境里自动生成注入攻击测试，不用另搭评估。数据也很扎眼，gpt-5.6-luna 这类闭源模型攻击成功率还在 20% 以上，做 agent 安全评估的团队应该跑一遍。
MetaPI 是一套自动生成提示注入攻击的流水线：它复用现有基准环境，定位可注入文本的位置，生成攻击目标，优化自适应载荷，并在真实环境中逐条验证攻击效果。研究团队在 AppWorld、VitaBench 和 Terminal-Bench 三个基准上运行了这套方法。
结果显示，gpt-5.6-luna 和 claude-sonnet-5 等闭源模型表现最稳健，但攻击成功率仍超过 20%。防御方面，CaMeL 能大幅降低攻击成功，但代价是严重的功能损失；DataSentinel 保持了模型效用，攻击削减幅度却有限。
这项工作的实际价值在于复用性：如果你已经用某个效用基准评估智能体，可以直接在同一环境内补充注入攻击测试，无需另建评估体系。
Nice paper on turning agent benchmarks into injection tasks.
MetaPI takes an existing benchmark, finds plausible places to inject text, generates attack goals, optimizes adaptive payloads, and checks each attack in the real environment. They applied it to AppWorld, VitaBench, and Terminal-Bench.
Closed models such as gpt-5.6-luna and claude-sonnet-5 were the most robust victims, but still had attack success rates above 20%. DataSentinel kept utility but reduced attacks less, while CaMeL reduced attacks at a large utility cost.
If you already evaluate your agent on a utility benchmark, it's worth running injection attacks inside that same environment.
https://t.co/lOpAfpiLfC
Chat with Paper: https://t.co/pryJi9kLed
本条情报归属 AITOP「论文」核心栏目，重点聚焦北美前沿实验室与硅谷科技巨头。在跨区域产业观察坐标中，该动态直接关联「AI 开发者工具链、Coding Agent 与工程化实践」「中美大模型技术代差与商业化对照」研究主线，反映出当前技术演进与商业落地的最新风向。涉及核心实体与技术议题包括：MetaPI、提示注入、智能体、AppWorld，读者可通过下方标签进入对应专题页查阅历史脉络与关联对比。
信源核验说明：本文原始线索采编自「DAIR.AI」（@dair_ai），经 AITOP 多维评分管线结构化提炼。
