主要来源Ate-a-Pi
查看原文事件专题 ·多源确认
Palo Alto Networks 与 PromptArmor 对同一模型安全测试结果相差 10 个百分点
上周 Palo Alto Networks 公布其安全基准测试,报告 Fable 5.2 的攻击成功率为 0%。安全公司 PromptArmor 用自己设计的攻击方法测试同一模型,得到 10% 的攻击成功率。同一家公司对同一个模型,两组测试结果相差 10 个百分点。 差异的根源在于测试方法本身:Palo Alto Networks 使用自家的基准攻击集,而 PromptArmor 拥有一套独立的攻击工具库,能构造出基准未覆盖的攻击路径。这说明单一安全基准的攻击覆盖面有限,模型在一个测试集上全过不代表能挡住真实攻击者的手段。 对开发者而言,选择模型时不能只看厂商公布的安全测试成绩,需要交叉参考第三方红队测试结果,并在自己的业务场景中做对抗测试。PromptArmor 与 Palo Alto Networks 的这次结果冲突,就是厂商基准与独立测试可能给出完全不同结论的实例。
当前结论
同一个模型,Palo Alto Networks 测出 0% 攻击成功率,PromptArmor 测出 10%,差距全在测试方法上。做模型选型的人得记住:厂商基准全过不等于安全,第三方红队结果要一起看。
3 个信源44° AI 热度最后更新 2026/11/18 18:19:49
证据链
3 个信源冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。