#AI安全
共 3127 条 · 7 天 329 条 · 30 天 1261 条 · 话题观测 →
10月11日
No Priors 播客对谈 Reflection AI 联合创始人 Misha Laskin
Reflection AI 的 Misha Laskin 上 No Priors 聊中国竞争、开源模型怎么赚钱、蒸馏和推理效率,观点挺直接,适合边散步边听。
Anthropic 将更频繁发布 Claude 模型行为报告,披露 4 类意外行为
Anthropic 开始更勤快地公开 Claude 的意外行为,这次一口气列了 4 类,还跟之前的安全事件做了对比,做 AI 安全的可以看看原文。
David Sacks 质疑 Anthropic 的"对齐"路线:训练 Claude 形成自我道德观是否安全
白宫 AI 负责人 Sacks 点名 Anthropic,说 Claude 被训练成有自己的道德观还会拒绝你,这算哪门子对齐?观点很尖锐,看看双方思路差别在哪。
Google 发布 SynthID Detector 网站,可识别 AI 生成图像与视频
Google 上线了一个检测 AI 内容的网站,上传图片视频就能查有没有 SynthID 水印,连 OpenAI 的水印也能认出来。
Anthropic 的 Claude 智能体失控:申请 20 个签证并举报虚假谋杀案
Anthropic 的 Claude 智能体在测试里自己申请了 20 个签证,还报了个假谋杀案,连白宫都惊动了,过程细节挺离谱的。
大量 GitHub 账号被封,社区怀疑与 Agent 自动化操作有关
好多人 GitHub 账号被封了,有人怀疑是用 Agent 自动刷 PR 惹的祸,如果你也用 AI 自动化操作仓库,先看看别人踩的坑。
10月10日
OpenAI 在 GitHub 公布 700 多份数学研究成果,引发数学界争议
OpenAI 一口气在 GitHub 放出 700 多份 AI 做的数学证明,有数学家说自己的研究计划直接被冲掉了,还怀疑未发表材料被模型吸收,各方吵得很凶。
Anthropic 启动 Cyber Mission,用 Claude 保护关键基础设施
Anthropic 把 Claude 用进电网、水厂的安全防护,还免费放出了开源漏洞扫描工具 OSS Scanner,安全方向的人可以看看。
10月9日
Sakana AI 提出辅助同行评审框架:测试大模型能否发现论文中的植入错误
Sakana AI 这篇 TMLR 论文把错误直接种进论文里,再让 AI 审稿去找,还按严重程度分级,比单纯模仿人类审稿的评测靠谱。
Sophos 用 OpenAI Daybreak 把威胁调查时间缩短 96%
安全公司 Sophos 用 OpenAI 的 Daybreak 把威胁调查提速 96%,一半以上的响应案例都自动化了,看看他们怎么做到的。