Risks

general · 首次出现 2026-05-22 · 最近出现 2026-11-20 · 累计提及 61

综述

Risks(风险)在当前语境中,已成为人工智能领域最核心的议题之一,覆盖模型能力失控、滥用、自动化研发安全等方向,也延伸到地缘政治、软件漏洞等更广泛的场景。2026 年以来,围绕 AI 风险的讨论从行业自律走向制度化评估,开源模型风险、自动化研发风险成为争议焦点。

AI 风险评估的近期进展

  • METR 宣布对 Anthropic 于 2026 年 8 月发布的风险报告中“自动化研发风险”章节进行独立评审,标志着第三方机构介入企业风险声明的核查,风险评估正从厂商自述转向外部验证。
  • 2026 年 11 月,在乌镇的世界互联网大会上,DeepSeek、Qwen 与 MiniMax 的代表就开源模型的风险问题展开公开对话。开源权重模型因难以收回和控制,其风险治理路径与闭源模型差异明显,成为国内头部厂商首次集体正面回应的话题。
  • 学术界也在探索低成本治理方案。arXiv 上的论文《Corralling AI Risks with Grassroots Contracts》提出用“草根契约”约束 AI 风险,试图在缺乏统一监管的背景下,通过社区与下游使用者的协议机制补充自上而下的监管。
  • 当前焦点与观察点

    其一,自动化研发(AI 参与研发 AI)被多家实验室列为最需要前置评估的风险类别,METR 等独立评估机构的话语权正在上升,企业风险报告的可信度将越来越依赖外部复核。

    其二,开源与闭源阵营对风险的界定存在分歧:前者强调可本地部署带来的可控性,后者强调权重扩散后的滥用不可逆。乌镇对话显示,中国厂商开始将风险议题纳入公开议程,但尚未形成统一的行业承诺。

    其三,风险讨论正在跨出 AI 领域。中美关系缓和改变了东南亚的地缘风险格局,中美俄三方会谈也涉及核风险议题;消费端方面,微软在 Windows 11 中酝酿“新兴风险”功能,向用户提醒第三方软件与驱动的已知漏洞,说明“风险管理”正从专业术语变成产品功能。

    综合来看,AI 风险治理正处于“企业自评—第三方评审—公众对话”三层结构初步成型的阶段,未来一年值得关注的观察点是:独立评估能否形成行业标配,以及开源社区能否拿出可操作的风险约束机制。

    相关报道

    9 条在档