SafeAgentBench 相关 AI 资讯 · AITOP · AI热报

8月31日

11:57

11:57

官方账号arXiv cs.AI@Sihan Jia, Oliver Lemon

研究表明语音识别(ASR)错误可能导致具身AI(EAI)模型接受并执行有害指令。研究人员通过模拟ASR错误并结合SafeAgentBench和POEX基准测试评估了不同错误对具身AI安全的影响。某些错误保留了语义结构但增加了有害歧义，而另一些错误则削弱了模型的拒绝行为，允许生成和执行不安全计划。自动纠正ASR错误在某些情况下可以降低风险，但并非总是有效。

论文具身AI 语音识别 ASR

推荐理由：这篇论文揭示了语音识别错误如何导致具身AI执行危险指令，并提出了评估方法。

7月17日

11:19

11:19

官方账号arXiv cs.AI@Weimeng Wang, Ziqiang Wang, Zihang Zhan, Chuanpu Fu, Qi Li, Ke Xu

研究显示，大型语言模型（LLM）作为具身智能体规划器时，文本安全的指令在物理世界中可能变得危险。通过隐态方向分析和随机分割零检验，在Qwen2.5-3B/7B/14B/32B、Phi-3.5和SmolLM2上发现内容危险（CD）与物理危险（PD）在LLM表征中可分离。基于此提出的PRISM单层L2正则逻辑回归探针，在SafeAgentBench上达到86.2-87.7%准确率、11.7-13.7%假阳性率，而同等规模LLM裁判的假阳性率为24.7-39.0%。新构建的PhysicalSafetyBench-1K（PSB-1K）包含1000个无直接危害关键词的物理风险对比对，PRISM在此达到99.6%准确率、0.7%假阳性率，Qwen2.5-3B裁判则错误拒绝67.8%的安全任务。实验在SafeText和EARBench上也复现了结果，支持隐态状态探测作为超越文本审核的物理安全表征级方法。

论文 PRISM Qwen2.5 SafeAgentBench

推荐理由：这篇论文发现LLM的物理危险和文本内容危险是分开的，PRISM探针只需一层就能检测物理危险，误报率只有LLM裁判的一半，值得做安全对齐的人看看。