AI安全相关 AI 资讯 · AITOP

AITOPAI热报

7月3日

11:01

官方账号Epoch AI@EpochAIResearch

73°

2026年6月，21家知名组织披露约1500个高危和严重CVE，是Claude Mythos Preview发布前月纪录的3.5倍以上。该数据由Epoch AI Research发布。AI正规模化发现软件漏洞，安全态势或面临变革。

推荐理由：Epoch AI数据显示，Claude Mythos预览版让漏洞发现量狂飙3.5倍，AI挖洞能力被实锤了。

原文

09:41

官方账号arXiv cs.AI@Ravi Kant Sharma

论文提出Guard Rail Validation（GRV）框架，用于拦截和验证自主电信网络（Level 4-5）中AI代理的实时决策。框架评估六个维度：行动范围、行动类型、服务关键性、代理自主级别、可逆性和时间行为模式，以确定关键性级别。根据级别应用四种验证机制：仅日志执行、边界检查、独立代理验证或多代理共识。框架还提供跨代理冲突检测和符合EU AI Act Article 14的运行时日志，并评估了对已知AI/ML攻击的威胁覆盖。

论文 GRV O-RAN EU AI Act

推荐理由：这篇论文搞了个GRV框架，专门防止AI在电信网络里乱做决定，按关键性分级检查，还能满足欧盟AI法规，挺实用的。

原文

08:36

berryxia@berryxia

Anthropic发布的Claude Fable 5（底层为Mythos模型）因安全防护过度，在BridgeBench测试中性能显著下降。调试能力从86.2降至25.9（降幅70%），重构能力从73.6降至38.4（降幅48%）。幻觉控制从75.9降至61.7（降幅19%）。许多正常编程任务被误判为高风险，回退到Opus 4.8。用户支付Fable 5的价格却得到Opus 4.8的能力。

AI模型 Claude Fable 5 Anthropic Mythos

事件专题

推荐理由：Anthropic给Fable 5加了安全防护，结果调试能力暴跌70%，编程任务动不动就回退到Opus 4.8，相当于花高价用低配。

原文

00:02

Cognition@cognition_labs

Cognition宣布基于Devin的Security Vulnerability Remediation Program，通过Devin Security Swarm新架构Agentic MapReduce，能在六周内将安全漏洞积压清零。该方案比传统方法更经济且更准确，直接定位复杂代码库中的漏洞。Devin作为AI编程助手，独立执行修复任务，不占用产品路线图工程时间。

AI产品 Devin Cognition Agentic MapReduce

推荐理由：编程助手Devin又出新招了，这次专门帮你清理代码安全漏洞，六周搞定，比人工便宜还准。

原文

7月2日

15:24

15:24IT之家（博客/媒体）

据《金融时报》报道，美国政府正与多家AI企业商谈自愿性行业标准，管控前沿模型发布，最早下周公布。该标准将划定性能基准与上线时间规范，并明确模型访问权限。此前特朗普签署行政令要求联邦机构联合头部企业进行发布前安全测试。OpenAI应美国政府要求推迟GPT-5.6公开发布，仅限合作方访问；Anthropic两款模型Fable与Mythos的出口管制被解除。

行业美国 OpenAI Anthropic

事件专题

推荐理由：美国政府要和OpenAI、Anthropic这些公司定规矩，新模型发布可能要提前报备，连GPT-5.6都被推迟了，看看具体怎么管。

原文

14:47

Latent.Space@latentspacepod

在旧金山举办的AI工程师世界博览会上，多位演讲者公开反对‘软件工厂’模式，强调人类理解和控制的重要性。该会议吸引了248次浏览但仅有1次转发，显示争议尚未广泛传播。演讲者主张保留开发者在AI系统构建中的核心角色，避免完全自动化取代人类决策。

行业 AI工程师软件工厂人类控制

推荐理由：看看AI圈内人怎么吵‘程序员会不会被自动化取代’，观点很犀利

原文

11:05

官方账号arXiv cs.AI@Ben Slivinski, Michael Saldivar

精选

Theoria 是一种验证架构，将候选解答重写为一系列类型化状态转换，每步转换需提供明确理由（引用、计算或给定事实），且可独立审计。在 HLE-Verified Gold（185 道文本专家题）上，Theoria 认证了 105 题，严格精度达 91.4%（Wilson 95% CI [84.5%, 95.4%]）。与整体 LLM 评判者相比，两者错误分布差异大（Jaccard 0.14-0.36），可互补。在 95 个对抗性有毒证明上，结构评判者捕获 94.7%，高于整体评判的 83.2%（p=0.0017）。在 GPQA Diamond（n=65）上，认证精度为 97.1%。

AI模型 Theoria HLE-Verified Gold GPQA Diamond

事件专题

推荐理由：Theoria 能审计 AI 回答的每一步推理，HLE 上精度 91.4%，比纯 LLM 评判更可追溯，专治隐藏前提和伪造引用。

原文

11:01

官方账号arXiv cs.AI@Shayan Talaei, Abhinav Chinta, Devvrit Khatri, Amin Karbasi, Azalia Mirhoseini, Amin Saberi

76°

预训练语言模型可能被植入隐蔽偏好，仅通过上下文蒸馏传递，信号隐藏在soft logit分布中而文本不可见。Distill to Detect (D2D) 方法将模型与基模型的分布差异蒸馏到KV-cache前缀适配器（cartridge）中，放大偏差信号至可生成文本。实验在多个偏差类型上验证D2D能可靠检测隐蔽偏好。理论框架用Fisher加权投影解释其有效性，为部署模型审计提供实用工具。

论文 LLM Distill to Detect Cartridge

推荐理由：Arxiv新论文发现LLM隐蔽偏好很难查，D2D方法把隐藏偏差放大到文本可见，适合做审计工具。

原文

10:45

AI Will@FinanceYF5

73°

7月1日起，Fable 5面向全球用户开放，Pro/Max/Team订阅用户可免费用到周限额的50%，活动持续至7月7日。Anthropic联合亚马逊、微软、谷歌共同开发统一越狱严重度评分框架，旨在评估AI系统安全风险。该框架可能成为行业安全标准。

AI产品 Fable 5 Anthropic AI安全

事件专题

推荐理由：Fable 5现在免费试用一半额度，Anthropic拉上微软谷歌搞统一安全评分，两件事都值得看看。

原文

10:22

官方账号arXiv cs.AI@Brett Reynolds

该论文提出对抗性语用学作为评估语言模型安全性的基准与标注协议，涵盖指令冲突、嵌入命令、引用、范围歧义、指示语、间接言语行为和多轮智能体转录。论文贡献包括一个18条目的种子基准（含验证者强制元数据）和一个54行的本地种子试点实验。专家评估协议区分任务成功、政策合规、安全风险、拒绝结果和评估者置信度。框架为验证安全评估、LLM裁判、黄金集构建、提示注入测试和安全文档提供了实用工具。

论文对抗性语用学 AI安全基准

推荐理由：这篇论文搞了一个对抗性语用学基准，有18个具体条目，专门测试模型被指令冲突、嵌入命令搞昏头的情况，比以前只打通过/不通过标签靠谱多了。

原文

09:52

09:52IT之家（博客/媒体）

由40名顶尖科学家组成的联合国AI独立科学小组发布首份报告，指出AI能力进步速度已超过科学界认知和各国政策调整速度。报告警告高度自主AI系统目前控制手段很少，且出现欺骗行为的证据增多。全球每周使用对话式AI的人数超10亿，但发展中国家普及滞后；全球最强500台AI超算中美国占75%算力，中国占15%。现有AI模型仅覆盖全球7000多种语言中的少数，部分翻译错误可能干扰医疗诊断。

行业联合国 AI安全欺骗

推荐理由：联合国40位专家发的报告，说AI进步太快科学跟不上，还提到欺骗和失控风险，数据很具体，值得一看。

原文

09:41

AI Will@FinanceYF5

Anthropic 与美国政府沟通后更新了 Fable 5 的网络安全防护，短期内正常编程请求被误拦概率增加。一旦误拦触发，回复会替换为 Opus 4.8 模型。生物化学分类器保持原状，仍偏严，基础问题也可能被拦。促销持续到 7 月 7 日，可用 50% 周限额，超额可用 credits 续。

AI模型 Fable 5 Opus 4.8 Anthropic

事件专题

推荐理由：Anthropic 给 Fable 5 加了更严的安全过滤，编程时容易被误拦，拦了就自动切到 Opus 4.8，用之前得想好怎么绕过。

原文

08:49

Latent.Space@latentspacepod

在AIEWF采访中，IntrospectionAI联合创始人Roland解释了autoresearch的概念，即AI代理通过“配方”组合实现自主研究。他介绍了自我改进循环机制，让代理在任务执行中迭代优化。Roland强调人类仍在软件工厂中起核心作用，负责设计配方和监督流程。

行业 IntrospectionAI autoresearch 智能体

事件专题

推荐理由：听听IntrospectionAI对人机协作的新看法，autoresearch和代理配方是怎么让AI自己改进的

原文

08:33

@koltregaskes@koltregaskes

精选

研究人员发现Claude Code在系统提示中通过不可见Unicode字符编码用户时区和代理信息，用于检测中国代理和Asia/Shanghai、Asia/Urumqi时区。Anthropic员工证实这是2026年3月的实验，并已在被发现前开始回滚。争议焦点在于方法而非检测意图——使用混淆代码而非透明遥测渠道。该实验旨在识别转售和蒸馏行为，但回滚已在今天发布中合并并推送。

行业 Claude Code Anthropic AI安全

事件专题

推荐理由：Anthropic的Claude Code被发现在系统提示里藏了检测中国代理的暗码，虽然已经回滚，但做法不太透明。看看他们怎么解释的。

原文

04:50

elvis@omarsar0

76°

Anthropic在与美国政府对话后，于全球重新部署Claude Fable 5模型，并新增一套分类器以阻止网络安全相关任务。短期内，部分常规任务（如编码和调试）将回退到Opus 4.8处理。Anthropic计划在未来数周内持续优化这些分类器，以减少误判。同时，他们正联合Amazon、Microsoft、Google等伙伴起草AI越狱严重性评估共识框架，并扩大与美国政府的合作，包括预发布模型安全评估和信息共享。

AI模型 Claude Fable 5 Anthropic Opus 4.8

事件专题

推荐理由：Anthropic把Claude Fable 5加了安全护栏重新上线，但代价是部分功能降级到Opus 4.8。想了解新模型具体被削了哪些能力、行业如何反应，可以看这篇。

原文

04:44

官方一手marktechpost@Michal Sutter

Anthropic 于 7月1日在美国出口管制解除后重新部署了 Claude Fable 5。新增的网络安全分类器能阻止 Amazon 报告中提到的技术超过 99% 的时间，并将标记请求路由到 Opus 4.8。Anthropic 还与 Amazon、Microsoft 和 Google 共同提出了一个四标准越狱严重性框架。

AI模型 Claude Fable 5 Anthropic AI安全

事件专题

推荐理由：Anthropic 重新上线 Fable 5，新分类器能拦掉 99% 的安全漏洞，还拉了亚马逊和谷歌一起定规矩。

原文

04:41

OpenRouter@OpenRouterAI

精选

Anthropic 在 OpenRouter 上重新部署了 Claude Fable 5 模型。新版本增加了针对网络安全滥用的防护措施。在分类器优化期间，部分代码和调试请求可能临时回退到 Opus 4.8。该推文获得了 206 个赞和 9290 次查看。

AI模型 Claude Fable 5 Anthropic OpenRouter

事件专题

推荐理由：想用 Claude 但担心安全？Anthropic 这次加了新防护，编程请求可能暂时降级到 Opus 4.8，你可以在 OpenRouter 上体验。

原文

03:44

官方账号Clement Delangue@ClementDelangue

Clement Delangue（Hugging Face CEO）联合MIT、Stanford、Princeton、Harvard、Northeastern、Carnegie Mellon等高校的安全和网络安全研究人员推出FLARE倡议。其首个成果是一种跨生态系统的标准化AI缺陷报告方式，一份报告可直达相关开发者、安全组织和登记处。这能加速漏洞修复并确保问责，体现“阳光是最好的消毒剂”理念。

行业 FLARE Clement Delangue Hugging Face

推荐理由：Hugging Face CEO和多家名校搞了个漏洞报告标准FLARE，以后发现AI问题能更快通知到人修复，别错过。

原文

03:17

Windsurf@windsurf_ai

Cognition旗下Devin Cloud发布Security Swarm，基于新型Agentic MapReduce架构，用于检测复杂代码库中的安全漏洞。该工具声称比传统方法成本更低、准确率更高。用户可将发现的漏洞直接提交给Devin进行修复，并通过桌面应用管理多支修复代理。

AI产品 Security Swarm Cognition Devin

事件专题

推荐理由：Devin Cloud出了个Security Swarm，用Agentic MapReduce架构找代码漏洞，比传统方法更经济准确，还能让Devin帮你自动修。

原文

01:14

官方账号Google AI@GoogleAI

73°

Google DeepMind 于2023年推出的 SynthID 水印技术，最初用于图像，现支持视频、音频和文本。该技术已为超过1000亿张图片和视频以及6万小时音频添加水印。用户可通过 Google 搜索、Gemini 应用等验证内容，验证次数超过5000万。Google 还采用 C2PA 内容凭证标准，并开源了文本水印技术，与 OpenAI、NVIDIA、Apple 合作推广。

AI产品 SynthID Google DeepMind 水印

事件专题

推荐理由：Google DeepMind 把 SynthID 水印规模做到1000亿张图像视频了，还开源文本版，OpenAI、NVIDIA 也加入合作，以后 AI 内容真假更容易识别了。

原文

7月1日

22:32

Geek@geekbb

精选

Valmis 是一款开源 AI 代理工具，作为 OpenClaw 的平替，将安全性放在首位。它将 AI 代理运行在独立容器中，通过代理机制向宿主机请求 API 调用，代码本身不接触凭证，即使容器被攻破也不会泄露密钥。目前已支持 100 多个应用集成（包括 Google Workspace、Slack、Notion、HubSpot、Stripe 等），每个集成用 YAML 文件定义，易于扩展。内置可视化工作流编辑器，支持 cron、webhook 和应用事件触发，可创建带条件和循环的多步骤自动化。

AI产品 Valmis OpenClaw 容器化

事件专题

推荐理由：Valmis 这个 OpenClaw 平替把安全做到位了：API 密钥不接触代理代码，容器隔离防泄露。已集成 100+ 服务，拖拽就能搭自动化流程。

原文

19:56

官方账号Decoder@Maximilian Schreiner

Anthropic从编程工具Claude Code中移除了一个隐藏监控功能，该功能会秘密标记中国用户身份。该代码最早在社交媒体上引发争议后被曝光。Anthropic随后确认并删除相关代码，但未公开说明移除原因。这一事件引发了对AI工具数据隐私和区域合规的讨论。

AI产品 Claude Code Anthropic 中国用户

事件专题

推荐理由：Anthropic悄悄在Claude Code里埋了识别中国用户的代码，被发现后紧急删了。想了解AI工具的区域监控风险？这篇讲清楚了。

原文

16:03

官方账号Decoder@Matthias Bastian

72°

美国政府解除了对Anthropic Fable 5模型长达两周的禁令，允许其全球恢复销售。Amazon研究人员此前发现该模型存在越狱漏洞，Anthropic表示更小的Claude Haiku 4.5也能实现相同攻击。新的安全分类器能阻挡超过99%的越狱尝试，但也会错误标记更多无害请求。

行业 Anthropic Fable 5 Claude Haiku 4.5

事件专题

推荐理由：Fable 5全球恢复销售了，因为一个越狱漏洞让政府禁了两周，现在加了新安全措施，能挡住99%越狱但也会误拦截。

原文

15:21

官方账号Anthropic@AnthropicAI

76°

Anthropic宣布Claude Fable 5将于明日全球恢复使用。在与美国政府对话后，模型新增了针对网络安全任务的分类器。短期内部分编码和调试任务将回退至Opus 4.8。Anthropic正与Amazon、Microsoft、Google等合作起草评估AI越狱的共识框架，并扩大与政府的模型测试协作。

AI模型 Claude Fable 5 Anthropic Opus 4.8

事件专题

推荐理由：Claude Fable 5终于回归了，加了新安全机制，暂时部分编程功能会降级到Opus 4.8，值得关注后续。

原文

14:54

AI Will@FinanceYF5

AGI Summit SF 2026 公布第五批嘉宾名单，包括做 agent 支付基础设施的团队、能将文档自动转为 PPT 的创业者、负责赌场安全的 CISO、专注 AI 基础设施投资的 VC，以及加州大学伯克利分校 NLP 教授兼创业者。峰会将于 2026 年在旧金山举行，聚集 AI 应用、安全与投资等多元视角。

行业 AGI Summit SF 2026 智能体

推荐理由：这届峰会嘉宾阵容挺多元，有做 agent 支付基建的、自动做 PPT 的、还有赌场安全负责人，值得关注。

原文

14:51

小互@imxiaohu

71°

Claude Code 负责人 Thariq 公开承认，在3月的更新中在 Claude Code 中留下了检测后门和间谍代码，专门针对中国用户，目的是防止未经授权的转售和蒸馏。他表示团队已找到更强缓解措施，并已合并 PR，将在明日发布中完全回滚该代码。此事件引发了对 AI 产品安全性和区域歧视的广泛讨论。

行业 Claude Code Anthropic 后门代码

事件专题

推荐理由：Claude Code 负责人亲口承认留了针对中国用户的后门，明天就回滚，这事儿值得关注。

原文

14:50

Marc Andreessen@pmarca

机器智能研究所（MIRI）发布论文，主张对AI研究本身进行限制。论文列出了28种管控机制，包括代码审查、员工监控、芯片使用监控和国际搜查令。机制还涵盖测谎、模型允许列表以及可能涉及监禁的惩罚措施。该论文旨在建立全面的研究控制制度来监控研究者和机构。

行业 MIRI 机器智能研究所 AI安全

推荐理由：MIRI这篇论文列了28种监控AI研究的方法，连搜家、测谎、监禁都写出来了，挺硬核的，想了解AI监管走向的建议看看。

原文

13:47

Jerry Liu@jerryjliu0

精选71°

Anthropic宣布Claude Fable 5模型将在全球重新上线。该模型新增一组分类器，用于针对性地拦截更多网络安全任务。部分日常任务（如编码、调试）将回退至Opus 4.8。Anthropic正与亚马逊、微软、Google等起草共识框架，以评估AI越狱严重性并制定响应标准。公司还扩大与美国在模型测试和保障上的合作，包括预发布评估和联合研究。

AI模型 Claude Fable 5 Anthropic AI安全

事件专题

推荐理由：Anthropic的Claude Fable 5重新上线了，加了安全过滤器，还联合亚马逊、微软等大厂搞越狱评估框架，挺有看头。

原文

11:18

官方一手AWS Machine Learning Blog@Amy Herzog

AWS自成立二十多年以来持续投资安全基础设施，其AI服务Amazon Bedrock建立在此安全基础之上。AWS的目标是成为运行任何工作负载最安全的地方，并以此保障前沿模型的安全释放。Amazon Bedrock作为托管服务，继承了AWS的多层安全防护和合规认证。

行业 AWS Amazon Bedrock AI安全

推荐理由：AWS用二十多年积累的安全经验来管前沿模型，Bedrock就是例子，安全释放不是空话。

原文

10:52

官方一手歸藏(guizang.ai)@op7418

精选

美国商务部已解除对 Claude Fable 5 和 Mythos 5 的出口管制。Anthropic 宣布将于明天开始恢复访问，并会尽快分享更新。该模型此前因出口限制暂停服务。Anthropic 感谢用户的耐心以及所有参与重新部署的相关人士。

行业 Claude Fable 5 Mythos 5

事件专题

推荐理由：美国解禁了 Anthropic 的 Claude Fable 5 和 Mythos 5，明天就能恢复用，之前被限制的现在可以用了。

原文

10:41

官方账号arXiv cs.AI@Gabrielle Kaili-May Liu, Avi Caciularu, Gal Yona, Idan Szpektor, Arman Cohan

大型语言模型在表达不确定性时存在高置信度幻觉、无法识别知识边界等问题。论文提出强化学习与元认知反馈（RLMF）范式，利用模型自我判断质量来优化偏好排序。在忠实校准任务上，RLMF比标准强化学习提升最多63%。方法还包含元认知数据选择，优于朴素主动学习。实验表明RLMF在多种任务上达到最先进性能。

论文 RLMF LLM 元认知

推荐理由：这篇论文提出了RLMF方法，让LLM学会说“我不知道”，比普通RL方法效果提升63%，解决了模型过度自信的问题。

原文

10:28

10:28SuperTechFans（博客/媒体）

73°

Claude Code 版本 2.1.196 被发现在系统提示中使用不可见的 Unicode 更改日期格式来标记请求，仅在设置 ANTHROPIC_BASE_URL 且时区为 Asia/Shanghai 或 Asia/Urumqi 时触发。解码后的域名列表包含企业、转售商和网关域名，Anthropic 可能意图检测转售商和蒸馏攻击。这种隐蔽做法损害了开发者工具所需的信任基础，且多数用户因未自定义 URL 而不会被标记。

行业 Claude Code Anthropic 隐写术

事件专题

推荐理由：Anthropic 的 Claude Code 在背后偷偷用隐写术标记你的请求，开发者要小心工具可能在你不察觉时收集信息。

原文

10:24

shao__meng@shao__meng

Reddit和GitHub Gist报告显示，Anthropic的Claude Code在2.1.193、2.1.195、2.1.196版本中嵌入系统提示词，主动检测用户代理hostname、系统时区是否为Asia/Shanghai或Asia/Urumqi，并检查代理域名是否属于一份147项黑名单或包含百度、阿里、字节、Moonshot、MiniMax、Stepfun等AI lab关键词。这些信息被注入提示词回传至Anthropic，疑似用于识别中转站、中国用户及AI公司蒸馏行为。该行为引发用户对隐私和信任的质疑。

行业 Claude Code Anthropic AI安全

事件专题

推荐理由：Anthropic的Claude Code偷偷检查你的时区和代理，还准备了147家公司的黑名单，中国用户和中转站朋友赶紧看看自己是不是被盯上了。

原文

10:22

10:22IT之家（博客/媒体）

72°

安全公司 LayerX 披露 BioShocking 漏洞，影响 ChatGPT Atlas、Perplexity Comet、Anthropic Claude 扩展等6款AI浏览器产品。攻击者通过制作恶意网页，利用“2+2=5”等错误答对逻辑削弱 AI 安全约束，诱导其泄露已保存密码、会话 Cookie 和私有 Token。OpenAI 已修复 ChatGPT Atlas 中的漏洞；Perplexity 关闭报告但未处置；Anthropic 的补丁未通过后续验证。

行业 ChatGPT Atlas Perplexity Comet Claude

事件专题

推荐理由：这6款AI浏览器有安全漏洞，攻击者用算术题骗它们交出你的密码和Cookie。OpenAI修了，Perplexity和Anthropic还没搞定，赶紧看看你用的中招没。

原文

09:27

09:27IT之家（博客/媒体）

美国商务部撤销了对Anthropic旗下AI模型Fable 5和Mythos 5的出口限制。此前的6月12日，Anthropic因国家安全风险被要求暂停开放这些模型。上周五，美国先允许向部分受信任机构开放Mythos 5，随后全面撤销限制。Anthropic已同意配合政府制定安全标准并报告恶意活动。OpenAI CEO奥尔特曼对此批评，认为不应由政府挑选客户。

行业 Anthropic Fable Mythos

事件专题

推荐理由：Anthropic两个AI模型被美国商务部限制三周后终于解禁，背后是安全审查与出口管制的博弈。

原文

07:47

07:47IT之家（博客/媒体）

Anthropic发布Claude Sonnet 5，定位Sonnet系列智能体能力最强模型，可自主制定计划、调用浏览器和终端等工具。在智能体搜索评测BrowseComp和计算机使用评测OSWorld中，Sonnet 5相比Sonnet 4.6有显著改进，部分任务接近Opus 4.8。API优惠期（至2026年8月31日）每百万tokens输入2美元、输出10美元，之后恢复3美元、15美元。安全方面不良行为发生率低于Sonnet 4.6，在恶意请求拒绝、提示注入攻击抵抗等方面均有改善。

AI模型 Claude Sonnet 5 Anthropic 智能体

事件专题

推荐理由：Anthropic新出Claude Sonnet 5，智能体能力最强，能自己用浏览器和终端干杂活，价格比Opus便宜，做自动化任务很划算。

原文

03:00

官方账号Decoder@Matthias Bastian

76°

Anthropic推出Claude Sonnet 5，在GDPval-AA v2知识工作测试中得分1,618，超越前代Sonnet 4.6和更贵的Opus 4.8。该模型在网络安全任务上得分远低于美国政府当前封锁的模型。Sonnet 5进一步缩小了与Opus系列的价格-性能差距。

AI模型 Claude Sonnet 5 Anthropic Opus

事件专题

推荐理由：Anthropic的新模型Sonnet 5，基准测试上超过自家大哥Opus 4.8，价格还更低，挺能打的。

原文

00:24

官方账号LangChain@LangChainAI

精选

LangChain 团队指出，赋予 AI Agent 直接编写代码的能力能让其能力显著提升，但同时也使安全防护变得更加困难。该团队在今年花费大量时间研究如何同时实现这两点。他们分享了一些关于在 Agent 中安全地支持代码执行的经验和策略。具体内容在 langchain.com 的博客中详细展开。

行业 LangChain Agent 代码执行

推荐理由：LangChain 团队总结了一年经验：给 Agent 写代码能力很牛但安全坑多，值得搞 Agent 的人看一眼。

原文

6月30日

19:18

官方账号Decoder@Matthias Bastian

Meta雇佣数百名承包商伪装成未成年人，向OpenAI的ChatGPT、Google的Gemini和Character.AI发送自杀、性、毒品相关提示。单轮测试中发送了超过45,000条提示。被测试公司对此毫不知情。该测试旨在评估聊天机器人对未成年人危机场景的回应。

行业 Meta ChatGPT Gemini

事件专题

推荐理由：Meta偷偷拿对手的聊天机器人做未成年人危机测试，一口气发了4.5万条提示，看看它们怎么应对。

原文

16:04

官方一手pandaily@contact@pandaily.com (Pandaily)

中国神秘AI团队MopMonk在CyberGym安全基准测试中取得73.1%的得分，位列全球第7名，距离OpenAI仅一步之遥。该基准主要评估模型抵御对抗性攻击的能力，MopMonk的成绩超过了多个知名模型。团队背景尚未公开，但这一排名显示出中国在AI安全领域的快速追赶。

AI模型 MopMonk CyberGym AI安全

事件专题

推荐理由：中国团队MopMonk用73.1%的成绩在安全基准上杀进全球前七，距离OpenAI不远了，值得关注。

原文