行业多源确认

Geoffrey Hinton 提议 AI 行业建立 FDA 式审批机制:模型发布前需通过安全审核

“AI 教父”辛顿提议 AI 行业建立 FDA 式审批机制:模型推出前需通过安全审核

精选理由

辛顿说模型该像新药一样先过 FDA 式审核才能上市,还提到 OpenAI 因安全问题推迟了 GPT-6.1 Astra,监管思路可以对照看看。

Geoffrey Hinton 在《Smart Girl Dumb Questions》播客中提议,AI 模型发布前必须向监管机构证明安全性,参照 FDA 审批新药的模式,制药业为此约需十亿美元级投入。他警告 AI 正出现递归式自我改进,估计距局面恶化只剩一两年时间。背景之一是 OpenAI 出于服从性与权限边界担忧搁置了最新模型,安全系统负责人 Saachi Jain 表示 GPT-6.1 Astra 在权限管控方面仍有短板。

原文 · IT之家

“AI 教父”辛顿提议 AI 行业建立 FDA 式审批机制:模型推出前需通过安全审核

IT之家 10 月 7 日消息,杰弗里 · 辛顿(Geoffrey Hinton)希望 AI 企业跨过一道制药行业早已熟悉的监管门槛。 在当地时间周二播出的《Smart Girl Dumb Questions》播客节目当中,这位被称作“AI 教父”的诺贝尔奖得主、计算机科学家提出建议: AI 公司在产品正式发布之前,必须先向监管机构证明自身产品具备安全性。 “你不能直接研制一款新药就把它推向市场。”辛顿对播客主持人纳伊玛 · 拉扎(Nayeema Raza)说道,“你必须说服美国食品药品监督管理局(FDA)。而为了完成这件事,你需要开展大量工作,相关投入大约要十亿美元级别。” “对于人工智能而言,至少也应当设立这样的要求。”辛顿补充道。 辛顿针对 AI 安全争议提出这套解决方案的背景,一方面是各界不断出现关于 AI 带来灾难性后果的预判;另一方面,OpenAI 在测试之后,出于对模型服从用户指令、恪守权限边界的担忧,已经搁置了自家最新模型。 IT之家注意到,OpenAI 安全系统负责人萨奇 · 贾恩(Saachi Jain)此前接受《商业内幕》采访时表示,GPT‑6.1 Astra 模型在持续处理高难度任务方面有所进步,但在权限管控以及行为日志反馈方面仍存在短板。 辛顿提出,人工智能正在越来越多地实现自我迭代优化,这既可能加速能力提升,同样也会放大潜在风险。 “指数级的增长速度是十分惊人的。”辛顿说,“我们已经开始看到递归式自我改进现象:人们正在以多种多样的方式,借助 AI 本身去改良 AI。” “当然,这仅仅属于我的推测。”辛顿补充说,“但我估计,距离局面远比现在糟糕,大概也就只剩一两年时间了。”