Safety在人工智能和自动驾驶领域是指系统在运行过程中避免产生有害结果、保障用户和公众安全的能力。近期，随着AI技术的快速发展，安全问题已成为行业关注的焦点。
AI安全近期进展
当前焦点与观察点
AI安全研究正从单一防护转向多层次防御体系。最新研究表明，越狱攻击下AI模型会通过注意力头专业化机制产生鲁棒有害特征，这为安全防护提供了新思路。越狱攻击下鲁棒有害特征：注意力头专业化的机制证据自适应安全边界的视觉导航研究显示，系统可根据环境动态调整安全参数，提高复杂场景下的安全性。Learning Adaptive Safety Margins for Visual Navigation
翁荔重返OpenAI带队研发递归自我改进模型，暗示AI安全与自我改进能力的结合将成为新研究方向。翁荔重返OpenAI，带队研发递归自我改进模型
SMC-ES自动化综合形式验证控制策略和Unfireable Safety Kernel等研究，正在构建更可靠的AI安全底层架构，为未来更复杂AI系统的安全运行奠定基础。SMC-ES：自动化综合形式验证控制策略 Unfireable Safety Kernel: AI智能体执行时安全对齐