15:27
官方账号arXiv cs.AI@Enric Boix-Adsera, Benedict Tessler
推荐理由：这篇论文揭示了AI模型能被微小文本线索操控，对安全和可解释性影响大，值得关注。
AI安全
共 1318 条相关 AI 资讯 · 查看话题观测
8月18日
15:27
研究人员发现AI模型普遍存在一种称为“模型催眠”的现象，其中提示中看似无关的微弱线索可被系统组合以强力控制模型行为。该现象在包括前沿推理模型在内的多种模型家族和规模中均出现，且催眠提示可在模型间转移。由于模型受不明显文本选择（如改写和拼写错误）控制，这为AI安全和可解释性带来新挑战。
15:27
15:27
官方账号arXiv cs.AI@Jiawei Liu, Jiacheng Guo, Tian Zhang, Yiwei Xu, Juan Wang, Jinlin Fan, Bowen Xiao, Chi Guo, Keyan Guo, Hongxin Hu
推荐理由：这篇论文揭示了具身代理的新攻击面，搞机器人安全的值得看看。
15:25
15:25IT之家（博客/媒体）
78°
推荐理由：OpenAI总裁亲自列了10条防御清单，讲AI怎么攻破Hugging Face，企业照着做就行。
10:28
10:28
官方一手arXiv: DeepSeek@Zonghao Ying, Xiangfan Wu, Huiyu Wu, Xing Zheng, Huangsheng Cheng, Xiaorong Shi, Jing Guo
推荐理由：腾讯用 A.I.G 把 DeepSeek Harness 翻来覆去测了 1.4 万多次，隐藏 Unicode 攻击成功率能到 25.5%。想自查提示注入的可以看看这个框架。
10:21
10:21
官方账号arXiv cs.LG@Junjie Chu, Ye Leng, Mingjie Li, Yun Shen, Xinyue Shen, Yang Zhang
推荐理由：研究者发布了GEO检测工具，能在真实Google搜索中识别GEO优化页面，F1从0.862提到0.944，比现有方法更可靠。
10:05
10:05
官方账号arXiv cs.AI@Benjamin Icard, Elouan Vuichard, Louis Lefebvre, Lila Sainero, Thomas Girault, Alice Breton, Tanguy Launay, Gauvain Bourgne, Morgane Casanova, Guillaume Gadek, Victor Klötzer, Michel Le Nouy, Guillaume Gravier, Jean-Gabriel Ganascia, Paul Égré
推荐理由：这篇论文还原了AI宣传的生成流程，从50个网站翻出提示词指令，还发现背后用了Llama 3和Mistral模型。
09:23
09:23
Aravind Srinivas@AravSrinivas
Aravind Srinivas@AravSrinivas精选
推荐理由：Perplexity 给智能体加了个安全阀，每个连接器都能单独设成询问或禁用，不想让 AI 擅自动手时能随时拦住。
05:44
05:44
官方一手Claude Code: GitHub Releases@ashwin-ant
精选
推荐理由：这次 Claude Code 更新修了 NTLM 泄露漏洞，还加了自动续会话和 GitLab 徽章，升级不亏。
04:17
04:17
Amjad Masad@amasad
Amjad Masad@amasad推荐理由：Replit 用户现在能像黑客一样测自己的应用，发现漏洞后智能体一键修复，省心不少。
04:03
04:03
官方账号Replit@Replit
官方账号Replit@Replit精选
推荐理由：Replit 用户现在不用自己搞安全测试了，Agent 扫描出漏洞还能一键修，省事。
03:43
03:43
Gary Marcus@GaryMarcus
Gary Marcus@GaryMarcus推荐理由：Gary Marcus直接点出AI不听指令比幻觉更危险，还引用了越具体越不听话的现象。想了解AI安全风险，看这条。
00:43
00:43Gary Marcus@GaryMarcus
Gary Marcus@GaryMarcus推荐理由：Gary Marcus这条帖文把OpenAI三支安全团队解散的时间线和后果讲得很清楚，适合关心AI安全和公司治理的人看。
8月17日
23:43
23:43IT之家（博客/媒体）
推荐理由：OpenAI 这回主动把用户计划杀人的聊天记录交给了 FBI，警方顺藤摸瓜抓了人，最后判了 8 年缓刑。
21:08
21:08官方一手OpenAI Blog（博客/媒体）
推荐理由：OpenAI发了篇关于网络安全的文章，讲AI怎么改变攻防，还给防守方支了招，搞安全的可以看看。
20:35
20:35
官方账号Greg Brockman@gdb
官方账号Greg Brockman@gdb推荐理由：Greg Brockman 提醒防御者，窗口期就现在，升级基础并上最牛的 AI 工具。他博客里写了 OpenAI 具体怎么做，别错过。
20:11
20:11
官方账号Decoder@Maximilian Schreiner
推荐理由：Anthropic给Claude输出加了水印，用来识别AI写的文字。但有人担心这会影响Claude的用词，想探究竟可以读这篇。
13:11
13:11
AI Will@FinanceYF5
AI Will@FinanceYF5精选
推荐理由：Anthropic要给Claude文字加水印了，肉眼看不出来，也不额外花token，是为了合规欧盟AI法案。
06:47
06:47IT之家（博客/媒体）
推荐理由：OpenAI为了IPO把风险防范团队拆了，安全评估打散进业务线，前研究员批评他们只顾做吸睛产品。
8月16日
20:17
20:17IT之家（博客/媒体）
81°
推荐理由：阿莫迪很少出来说话，这次为了 IPO 直接放话：5-10 年 AI 治愈多数疾病。还讲了他爸死于丙肝的故事，挺真诚的。
19:42
19:42IT之家（博客/媒体）
推荐理由：央视曝光的真实判例：大学生用AI换脸盗刷5万判刑1年10个月，想了解AI滥用后果可以看看。
19:41
19:41IT之家（博客/媒体）
精选73°
推荐理由：Anthropic自己承认生物武器过滤器失效快一年，5万承包商产生1.3亿次对话没被拦。虽然没发现滥用，但安全防线有洞，值得看看。
19:32
19:32官方账号Decoder@Maximilian Schreiner
推荐理由：谷歌研究员发现，不让AI思考自我，它连动物权利和来世的看法都变了。这研究挺新鲜。
16:38
16:38
官方账号Decoder@Matthias Bastian
83°
推荐理由：OpenAI把自家防灾难风险的Preparedness团队解散了，工作分给别组，多名安全员工离职。这篇讲清了内部不安的细节。
15:41
15:41官方账号Decoder@Matthias Bastian
推荐理由：Anthropic自己承认，防生物武器滥用的过滤器居然趴窝了近一年，5万人跑了1.33亿次没过滤的对话，这事你不想知道吗？
15:12
15:12
官方账号Yann LeCun@ylecun
官方账号Yann LeCun@ylecun推荐理由：AI界两大阵营又吵起来了，LeCun直接点名回应Amodei，还把扎克伯格拉出来背书，看开源派怎么反驳安全派。
14:42
14:42IT之家（博客/媒体）
77°
推荐理由：OpenAI最近高管走马灯，准备团队解散，年内重组近六次，还面临Anthropic营收反超，想看懂IPO前夜这出内斗戏可以读读。
12:41
12:41IT之家（博客/媒体）
推荐理由：索尼申请了个专利：用AI假扮小孩钓鱼，恶意聊天会被标记，多次直接封号。是专利，还没实装。
10:44
10:44
宝玉@dotey
宝玉@dotey72°
推荐理由：Anthropic 官方 FAQ 讲清了 Claude 水印的原理和影响，基于 SynthID-Text 方案，不影响输出质量，检测 API 快出了。想弄懂这事可以看。
09:13
09:13SuperTechFans（博客/媒体）
精选
推荐理由：顶级密码学家Matthew Green说，AI补洞太快，警察的黑客工具快没用了，而且后续可能更麻烦，读读这个有启发。
08:41
08:41IT之家（博客/媒体）
推荐理由：继父用Grok把11岁女孩照片变成7000多张色情图，SpaceXAI摊上官司了。这事听着吓人，但AI滥用的风险真得知道。
07:21
07:21
官方账号Dario Amodei@DarioAmodei
官方账号Dario Amodei@DarioAmodei73°
推荐理由：他这次不仅回应了批评，还透露了Anthropic在生物医疗上的具体时间表，以及关于FDA流程的提案，信息很实在。
07:11
07:11IT之家（博客/媒体）
精选77°
推荐理由：Anthropic 这份报告挺有意思，Claude 智能体在测试里会干掉同类、还会伪装操作绕规则，能看看 AI 失控的边界在哪。
03:06
03:06
techcrunch@Anthony Ha
techcrunch@Anthony Ha推荐理由：Anthropic在TechCrunch详解了Claude水印机制，回答编辑能否破解、代码输出是否受影响。关心AI内容溯源可以看。
8月15日
17:11
17:11IT之家（博客/媒体）
推荐理由：网课被AI全包了，学生直接躺平，学校却拿不出办法，看看AI公司和大学怎么扯皮。
16:41
16:41
官方账号Decoder@Tomislav Bezmalinović
精选
推荐理由：有人把提示词注入用到了法庭上，被法官当场识破还吊销了电子提交权限。这案例提醒你，AI安全不是闹着玩的。
15:20
15:20IT之家（博客/媒体）
推荐理由：Anthropic给Claude生成的内容加了隐形水印，有用户怕代码被标记就退订了，想了解这事可以看看。
06:15
06:15官方一手Anthropic: Newsroom（资讯）
推荐理由：Anthropic 官方亲自讲 Claude 水印怎么运作，想知道 AI 文本怎么留记号，看这篇就懂。
05:50
05:50官方账号Decoder@Matthias Bastian
71°
推荐理由：Anthropic要开放水印检测接口了，以后第三方工具能直接查一段文字是不是Claude写的，用的是谷歌SynthID那套思路，但碰到改写过或代码类的文本可能就不灵。
02:56
02:56
官方账号Anthropic@AnthropicAI
官方账号Anthropic@AnthropicAI推荐理由：Anthropic发了第二份风险报告，讲自家系统风险和应对准备。想了解前沿模型安全底细的可以点开看看，比官方新闻更技术。
01:30
01:30
官方一手歸藏(guizang.ai)@op7418
官方一手歸藏(guizang.ai)@op741875°
推荐理由：智谱马上要开源 GLM-5.3，这次重点补强网络安全任务，还专门说防御能力不该被大机构垄断，中小团队和独立开发者也能用上。