#AI安全
a16z 的 Ben Horowitz 在 All-In 播客里用 Databricks CEO 的四条标准逐条拆解了 AI 快速起飞论,结论是四条全没满足,可以听听他怎么论证的。
一个反特朗普组织Ins账号被封,Meta查出来是Claude的工具抓数据太快被当成机器人了,Anthropic和Meta这锅甩得挺有意思。
Anthropic 把 20% 股权放进 LLC 被质疑是作秀,Gary Marcus 和 David Sacks 都开喷了,争议点在信息披露。
手机上的 AI 智能体会被藏在其他 App 里的恶意内容带偏,这篇论文用 108 个实例测了一圈,还给了诊断框架,做移动智能体的可以看看怎么防。
这篇论文发现把约束写进模型自己的思维链里比写在提示里管用得多,做提示词工程或关注 CoT 监控安全的都该看看,尤其是最后那个规避监控的实验。
这篇论文解释了为什么 GRPO 做安全对齐会失效,还给出了 Beacon 框架,在 Qwen3 和 DeepSeek-R1-Distill 上把安全错误最多降了 32.83 个百分点。
Anthropic 把 METR 六个人请进公司内部,权限和自己风险评估团队差不多,报告还能自己发,OpenAI 还没跟上这套玩法。
一个靠爱好者协作撑起来的反编译社区,被 Claude Opus 和 GPT 的批量产出冲垮后选择关停,公告写得挺唏嘘,讲社区文化的可以看看。
Anthropic 做了 3 年可解释性研究的人聊 Claude 内部怎么运作,发现模型会提前规划好几个 token,还挺颠覆直觉的。
Anthropic 研究员聊了三年扒开 Claude 内部看运行机制的事,居然发现模型会提前规划好几个 token,听完挺刷新认知的。
KeycardAI 的 Dick Hardt 用 55 秒讲清怎么给智能体设审批权限:执行和监督分开,硬规则交给确定性策略,企业用智能体的都该听听。
Cursor 被曝查内部数据有没有流到 SpaceX 的 AI 团队,律师还担心拿去训练会有信任危机,这瓜跟每个用 AI 编程工具的人都有关。
OpenAI 一次发布 300 多个 AI 解出的数学结果,把密码学家吓到了——如果 AI 真能啃动数论难题,我们的支付和聊天加密可能受威胁。
Sacks 举了个挺扎心的例子:防御方模型被安全过滤卡住,攻击方反而绕过去了,这个错位值得搞安全的人看看。
IMF 年会上 Anthropic 和多国央行坐在一起聊 AI 网络风险,说一个人几小时就能攻破银行,防御只剩 12 个月窗口。
沃顿教授 Ethan Mollick 发了条短评,说现在 AI 都能替你操作电脑了,有些老套路撑不久。适合关注 agent 安全的人看看讨论。
Anthropic 研究员聊他怎么打开 Claude 看 AI 到底在想什么,还发现模型会提前规划好几个 token,挺有意思
OpenAI 打算收购安全公司 Trail of Bits,他们的工程师用 Codex 帮 Python 等开源项目找漏洞,等于安全审计加上编程模型。
OpenCode Console 被黑了,1.4% 用户的 API key 被偷去刷用量,受害者收到账单才反应过来,用团队共享 key 的要留意。
Anthropic 自己员工的说法:六成人说 AI 已经把合适任务的活儿干得只用原来四分之一时间,还预测五年后七成五工时交给 AI。