OpenAI 提出前沿 AI 训练安全指导原则：高管享否决权

OpenAI 提出前沿 AI 训练安全指导原则：高级管理人员应有否决权

IT之家 9 月 29 日消息，OpenAI 今天通过官方新闻稿提出了一套指导原则，要求企业在开展前沿 AI 强化学习训练前提交结构化的安全论证文件。 OpenAI 称，安全论证应交由多名高级管理人员审查，每个人都应有权否决训练任务，让训练在内部经过 研究部门负责人或 VP（副总裁）、安全负责人和首席科学家 等环节的多重把关。 此外，研究部门负责人、研究副总裁等负责训练任务的高级管理人员， 应对安全论证以及任何事故响应承担责任 ，包括把这些内容纳入绩效考核，以此促使训练团队主动推动安全和对齐工作。 OpenAI 称，如果高优先级安全警报没有在规定时限内得到确认，受影响的训练任务应自动暂停。这些建议已经进入落实过程，今后预计还会继续调整。此外，训练流程应能方便地 识别未对齐模型的所有下游用途 （IT之家注：例如用于数据生成或评分），以便必要时消除未对齐输出带来的影响。 今天早些时候，OpenAI 宣布，随着越来越多报告显示 AI 智能体获得敏感领域的访问权限并出现意外行为，公司暂停了最新 AI 模型的训练。 参考 Towards safety cases for frontier AI training 相关阅读： 《 内部测试发现安全隐患，消息称 OpenAI 取消发布 AI 模型 GPT‑6.1 Astra 》