AI安全(AI-safety)是指确保人工智能系统按照人类意图安全运行，防止其产生意外或有害后果的技术与政策领域。随着AI技术快速发展，全球各地正在加强AI安全监管框架。
AI安全近期进展
2023年9月，加州州长签署行政命令要求加强AI安全法规，成为美国首个针对AI安全的州级行动。加州颁布美国首份人工智能安全保障法案，要求AI系统必须符合安全标准才能在州政府机构部署。
英伟达CEO黄仁勋认为前沿AI安全无需新监管架构，这一观点与Anthropic CEO Dario Amodei形成鲜明对比。后者建议减缓AI发展速度，以防止对人类产生负面影响。
OpenAI近期发布了多份关于AI安全的研究论文，包括"AI安全具体问题论文"和"超级智能治理前瞻"框架，提出构建安全通用人工智能的技术目标。
当前焦点与观察点
AI安全领域存在明显分歧：一方认为需要加强监管和减缓发展速度，另一方则认为过度监管可能阻碍创新。Michael Burry质疑AI公司的安全警告可能是IPO前的营销手段，这一观点引发了对AI安全动机的讨论。
关于AI灭绝风险的研究相对有限，有专家指出这一领域的研究几乎为零，这可能是第一步。同时，OpenAI启动了网络安全资助计划，将AI安全扩展到网络安全领域。