METR 提出设想:评估 AI 开发商内部智能体的失控风险并公开证据
AI 开发商的智能体快失控,外人能知道吗?METR 想跟他们合作做第三方评估并公开证据,这个机制少见。
METR 在 X 平台提出一个问题:如果 AI 开发商的内部智能体即将失控,公司外部是否有人能知道。为此 METR 公布了自己的工作设想:与 AI 开发商合作,对内部智能体的失控风险进行评估。METR 还希望把评估得到的证据公开分享,让公司之外的第三方掌握实际情况。这份设想针对的是智能体安全主要靠开发商自查、外部难以验证的现状。
If an AI developer was on track to lose control of its internal agents, would anyone outside the company know?
Today, we are sharing METR’s vision for how we would work with AI developers to openly assess and share evidence about this. https://t.co/rtJsbIjSGN