研究提出 LoC 行为框架,用于预测前沿 AI 失控风险
把失控风险拆成三个可打分的维度,测了 13 个前沿模型,r=0.84 能预测失败率,做安全评估的可以看看方法。
把失控风险拆成三个可打分的维度,测了 13 个前沿模型,r=0.84 能预测失败率,做安全评估的可以看看方法。
讲清楚一个容易被忽略的事:AI 安全问题计算机科学家几十年前就研究过,文中把老理论怎么用在今天的 AI 上讲得挺明白。
Gary Marcus说,别再搞这些失控的互联网使能代理了,这就像打开潘多拉的盒子,希望它可控,结果可能更糟。
朋友, Naval 提了一个很关键的观点:AI让容易验证的事变便宜了,但难验证的事还是难。现在没人为没验证的失败买单,导致验证预算缩水,大家都在用没监控的代理,这很危险。
Anthropic 首次公开讨论递归自我改进的可行性,做 AI 安全或长期对齐研究的团队值得关注——这可能是未来几年最关键的议题之一。