AITOPAI热报

安全验证

共 5 条相关 AI 资讯
8月26日
10:23
10:23官方账号arXiv cs.LG@Hanna Jiamei Zhang, Alan Papalia, Michael Everett, David M. Rosen
精选
针对ReLU神经网络的线性规划（LP）和半定规划（SDP）松弛，由于显著的松弛间隙，导致过于保守的安全保证。虽然完全正规划（CPP）公式关闭了这一差距，但其最经济的可处理松弛——双重非负规划（DNN）保留了关键的约束，但其规模超出了实际规模的内点方法的范围。我们提出了一种新的特征值最大化程序，在非唯一乘子空间中搜索有效的证书，即全局最优保证。实验表明，我们的方法$( ext{DNN})^2$产生的界限始终比标准SDP方法更紧，通常与精确解相匹配，并且当存在有效证书时，我们的认证程序确认了全局最优性。这些结果是提供紧、可验证和计算可扩展的验证保证的关键步骤，这些保证对于在安全关键的自驾驶系统中部署神经网络控制器和感知模块至关重要。
论文深度神经网络安全验证特征值最大化
推荐理由：这篇论文提出了一种新的方法，可以更精确地验证深度神经网络的安全性能，对于安全关键的自驾驶系统具有重要意义。
原文
8月13日
17:45
6月11日
09:52
09:52官方账号arXiv cs.AI@Mir Md Sajid Sarwar, Srinivas Pinisetty, Rajarshi Ray, Thierry Jéron
精选
本文提出一种运行时强制框架，用于确保自主和网络物理系统在不确定动态环境中的安全。与传统的运行时验证不同，运行时强制通过主动干预执行过程来防止属性违反，可修改不安全行为。该框架使用混合自动机建模安全需求，结合离散事件编辑与连续时间监控，支持事件抑制、延迟和插入等操作。通过运行时可达性分析合成安全纠正动作，并在自适应巡航控制系统中验证了有效性，实验表明该方法在实时保障安全的同时引入极小计算开销。
论文运行时强制混合自动机安全验证
推荐理由：自主系统安全是自动驾驶、机器人等领域的核心难题，这篇论文给出了一个可落地的运行时强制方案，做安全关键系统开发的工程师可以直接参考其算法和案例。
原文
6月10日
03:45
03:45Guillermo Rauch@rauchg
Anthropic 的 Mythos 安全验证工具对 Malte Ubl 的 just-bash 项目进行了安全审计，结果未发现严重问题。just-bash 是一个完整的 bash 实现，包含 QuickJS、CPython 和可选文件系统访问，攻击面很大。该项目大部分代码由 Claude Opus 4.5 编写，仅经过最少的人工审查，但通过深度加固循环和机器强制编码规则保证了安全性。这一案例展示了 AI 生成代码在严格安全约束下可以达到的可靠性。
AI产品Claude OpusMythos安全验证
事件专题
推荐理由：AI 写代码的安全性问题一直让人担心，这个案例证明只要加固流程到位，AI 生成的复杂系统也能通过专业审计。做 AI 安全或代码生成的团队值得看看他们的方法论。
原文
5月20日
11:26
11:26官方账号arXiv cs.LG@Ben Wooding, Hongchao Zhang, Taylor T. Johnson, Abolfazl Lavaei
精选
传统离散时间屏障证书要求安全函数每一步都非增，约束严格。本文提出 k-inductive 屏障证书，允许函数在 k-1 步内暂时增加（每步不超过阈值 ε），同时保证整体安全，提升了灵活性。研究利用神经网络构建 k-inductive 神经屏障证书（k-NBCs），适用于部分未知的非线性系统。为解决神经网络缺乏形式化保证的问题，采用反例引导归纳合成（CEGIS）与可满足性模理论（SMT）验证，但传统方法需已知系统动力学。本文借助 Willems 基本引理的推广，仅用单条状态轨迹构建数据驱动表示，实现未知模型的 SMT 验证，且不牺牲精度。在三个非线性案例上验证了方法的有效性。
论文安全验证神经屏障证书未知非线性系统
推荐理由：做安全关键系统（如自动驾驶、机器人）验证的团队，终于有了处理未知动力学的方法——用一条轨迹就能生成带形式保证的屏障证书，比传统依赖精确模型的方式实用得多，值得关注。
原文