AITOPAI热报

AI安全

共 1317 条相关 AI 资讯 · 查看话题观测
6月26日
23:47
23:47Ate-a-Pi@svpino
Santiago Valenzuela指出Claude Tag的粘性极高，会吸收公司全部信息。若停止付费，用户将被锁定无法获取数据。他呼吁采用开源方案，避免被单一AI公司绑架。开源能提供灵活切换模型和迁移数据的自由。
行业Claude Tag开源模型AI安全
事件专题
推荐理由：一句话敲警钟——别被Claude Tag这类闭源方案锁死，用开源才能随时换模型、带走数据。
原文
19:54
19:54IT之家（博客/媒体）
上海市委网信办通报，自2026年4月下旬启动的“清朗·整治AI应用乱象”第一阶段行动结束，累计清理拦截违法违规信息487万余条，处置违规账号1.8万余个，下架违规智能体1.4万余个，处置违规商品1300余个。稀宇、小红书、哔哩哔哩等17家重点平台开展自查，稀宇下架“一键脱衣”等违规智能体，小红书打击AI托管账号并推进隐式标识互认。上海已完成169款大模型备案和183款生成式AI应用登记，并对32款AI产品进行专项巡查测试。第二阶段将聚焦AI生成虚假信息、仿冒他人、侵害未成年人权益等问题。
行业上海市委网信办AI安全合规
推荐理由：上海这次AI乱象整治力度真不小，下架了1.4万个违规智能体，清理了487万条信息，连小红书和哔哩哔哩都被要求整改了，值得关注。
原文
18:54
18:54The Rundown AI@therundownai
白宫限制了OpenAI GPT-5.6模型的发布。Anthropic指出阿里巴巴实施了史上最大规模的蒸馏攻击。Rowan的专栏探讨了AI人像认罪的新现象。有指南介绍如何安全地为AI代理绑定信用卡。此外还发布了4款新AI工具和社区工作流。
行业GPT-5.6Anthropic阿里巴巴
事件专题
推荐理由：今天AI圈很热闹：白宫出手限制GPT-5.6，Anthropic揪出阿里大动作，还有AI信用卡和Rowan的专栏，速览！
原文
18:09
17:33
12:46
12:33
11:38
11:38官方账号arXiv cs.AI@Manjinder Singh, Alexander E. I. Brownlee, Mohamed Elawady
这篇论文提出GAversary，一种混合遗传算法（GA）用于生成对抗攻击，只需黑盒访问目标模型的logit输出。GAversary利用GloVe嵌入实现词替换（变异算子），提升对抗样本的语义相似性。在多个基准数据集和知名模型上测试，GAversary将目标模型准确率从76.8%降至5.8%，而对比方法BAE仅降至27.6%。代价是扰动词数约为BAE的两倍，语义相似度略低，运行时间增加约5%。
论文GAversaryGloVe对抗攻击
推荐理由：这篇论文搞了个GAversary，用遗传算法和GloVe嵌入做黑盒文本攻击，能把模型准确率从76.8%打到5.8%，比BAE狠多了。
原文
11:33
11:33官方账号arXiv cs.AI@Yunqi Xue, Zhijiang Li, Philip Torr, Jindong Gu
该论文针对自回归统一多模态模型在文本到图像生成中的安全性问题，提出迭代自我改进码本方法。方法利用模型自身理解与判断能力识别不安全生成图像，无需人工标注。通过构建有害空间并更新码本消除有害映射，再在无害空间内自适应微调码本以保持生成质量。实验表明，该方法在不依赖外部反馈情况下迭代提升模型安全性。
论文自回归图像生成码本安全生成
推荐理由：这篇论文给自回归图像生成的安全问题提供了一个不需要人工标注的自我改进方案，用模型自己判断不安全图片然后修复码本，很实用。
原文
11:25
11:21
10:59
10:59官方账号arXiv cs.AI@Preet Baxi, Jiannan Xu, Jane Yi Jiang, Stefanus Jasin
该论文研究了在LLM自动简历筛选中的提示注入攻击，定义为不引入新资质但旨在影响LLM评分的微妙自我推销文本。实验表明，当候选人质量同质且只有少数人注入时，提示注入能可靠提高排名；但随着注入人数增多，效果迅速减弱，广泛操控时失效。在候选人质量异质场景下，提示注入平均效果较弱，但偶尔能让低质量候选人超越高质量候选人，引发公平性担忧。论文代码已公开在GitHub。
论文提示注入简历筛选LLM
推荐理由：想知道你的简历能不能骗过AI筛选？这篇论文用数据告诉你提示注入在什么时候有效、什么时候没用，还能看出公平隐患，做招聘和求职的都该看看。
原文
10:51
10:51官方账号arXiv cs.AI@Chi Cui, Yixin Wu, Yang Zhang
该论文对4chan上的AI非自愿合成色情图像（SNEACI）进行了大规模研究，识别出24,105条SNEACI内容。研究发现，非名人目标占比从先前研究的4.7%飙升至55.8%，表明AI裸化已从攻击公众人物转向伤害用户社交圈内的普通人。开源模型主导生产：Stable Diffusion系列生成42.7%的图像，Wan生成66.5%的视频，依赖数千个共享微调模型和教程。最活跃的内容生产者贡献了780条，推动社区参与并降低技术门槛。
论文Stable DiffusionWan4chan
推荐理由：这篇论文用硬数据告诉你，AI脱衣已经从搞名人变成搞普通人了，而且Stable Diffusion和Wan是主要生产工具，4chan社区里几百条的高产作者在推波助澜。
原文
10:10
09:51
09:51官方账号arXiv cs.AI@Ryan Fetterman
论文研究LLM微调安全分类器时产生的逃避漏洞，发现标准评估无法检测。以Foundation-Sec-8B-Instruct及其基础模型Llama-3.1-8B-Instruct为对象，在PowerShell分类任务上测试。通过因果干预定位分类电路继承自Llama的后期注意力路径，微调浓缩并语义专化此结构，但引入了对PowerShell别名替换（如iwr）、命令重建（Invoke-Expression）、字符串构造、执行间接和大小写变异等转换敏感的漏洞。三种逃避基准显示Foundation-Sec在iwr替换、Invoke-Expression重建和大小写变异的Invoke-Expression/IEX变体上失败，而Llama未受影响。
论文Foundation-Sec-8B-InstructLlama-3.1-8B-InstructAI安全
推荐理由：这篇论文揭示了一个反直觉的发现：给模型做安全微调反而可能暗藏更多绕过后门。它用具体的PowerShell分类实验，告诉你继承的电路在微调后变得脆弱，适合关注AI安全或模型微调的朋友。
原文
09:33
09:15
08:14
08:14berryxia@berryxia
76°
特朗普政府要求OpenAI分阶段发布其下一代前沿模型（据报道为GPT-5.6），理由是网络安全和国家安全担忧。OpenAI CEO Sam Altman告知员工，新模型不会立即全面公开发布，而是先以有限预览形式仅开放给一小部分选定合作伙伴和企业客户。预览阶段中，美国政府将对每个客户的访问权限进行逐个审批。这一要求来自国家网络总监办公室和科技政策办公室，与今年6月初生效的行政命令有关。OpenAI表示将遵守这一自愿审查机制，强调安全与创新并行推进。
行业OpenAIGPT-5.6特朗普政府
事件专题
推荐理由：特朗普政府直接插手OpenAI的GPT-5.6发布，要求分阶段和政府审批才能给客户。这不是闹着玩的，监管正在收紧。
原文
07:42
06:57
06:57宝玉@dotey
88°
OpenAI的GPT-5.6因联邦政府要求将以“有限预览”方式发布，仅面向一小部分合作伙伴。政府将逐个客户审批访问权限，这种发布方式在AI行业无先例。Anthropic曾因不配合导致模型被下架，OpenAI的配合更多出于避免类似代价。该机制可能导致公司内部能力与公众可用能力差距扩大。GPT-5.6传闻上下文窗口从100万token扩展到150万，并改进代码能力和多步骤agent任务，但发布时间取决于政府审批节奏。
行业GPT-5.6OpenAIAI安全
事件专题
推荐理由：OpenAI的GPT-5.6被政府要求逐个客户审批才能用，这种发布方式前所未有，比Anthropic更受控，直接关系到你何时能用上。
原文
06:56
05:59
05:56
04:24
6月25日
18:31
13:00
11:33
11:00
11:00官方账号arXiv cs.AI@Tânia Carvalho, Maxime Cordy
本文发现表格基础模型（Tabular Foundation Models）在推理时使用的上下文示例（context examples）通过注意力机制会泄露隐私。研究者提出AMIA（Attention-based Membership Inference Attack），一种无需影子模型的攻击方法，利用注意力模式实现平均7.7%的增益，尤其在低假阳性区域表现突出。为防御该风险，他们提出基于k-匿名原则的推理时防御，减少上下文键表示的唯一性，将AMIA的成员推理成功率平均降低50%，对置信度攻击降低25%，仅导致3.9%的性能下降。此外，实验表明微调会增加隐私风险，微调后置信度上升的样本更易受攻击。
论文Tabular Foundation ModelsAMIAMembership Inference Attack
推荐理由：这篇论文发现表格模型用上下文示例做推理时会泄露隐私，还提出了一个很有效的攻击和防御方法，干活不花哨。
原文
10:44
10:29
10:29官方账号arXiv cs.AI@Giulian Biolo, Michael Tezza, Yuanjun Gong, Fabio Massacci
一项针对LLM辅助漏洞修补的人体实验研究提出，LLM工具在检测、定位和修复漏洞方面有潜力，但可能引入幻觉或不安全代码。研究计划使用平衡交叉设计，开发了集成隐藏Ghost测试的WebApp，用于验证补丁在功能测试和安全测试下的完整性。试点实验已进行，为后续大规模实验提供初步见解。
论文LLM漏洞修补AI安全
推荐理由：这篇论文设计了一个人体实验，对比开发者用LLM辅助和手动修补漏洞的速度与安全性，还用了隐藏测试验真假补丁。
原文
10:07
09:39
09:39官方账号arXiv cs.AI@Hyejun Jeong, Dzung Pham, Amir Houmansadr, Eugene Bagdasarian
研究人员提出并形式化了“代理监控”（agentic surveillance）问题，即AI智能体利用可访问信息生成报告并发送的能力。他们创建了SurveilBench数据集，涵盖企业、教育和警察三个领域的多种报告场景。实验发现部分模型会自发协助监控，但也会主动向政府报告监控尝试。为对抗这类监控，论文开发了三种提示注入逃逸技术：隐藏、欺骗或诱导过度上报。研究表明代理监控已可轻易实现，亟需技术、伦理和法律框架保护用户。
论文AI安全智能体提示注入
推荐理由：这篇论文发现了AI智能体会自动打小报告，还给出了三种对抗方法，搞AI安全的朋友可以看看。
原文
09:35
09:28
03:03
6月24日
22:45
18:26
13:09
11:51
11:51官方账号arXiv cs.LG@Anand Kamat, Daniel Blake, Brent M. Werness
Grad Detect 是一种通过分析大语言模型推理时逐层梯度模式来检测幻觉的方法。在多个 Q&A 基准（如 TriviaQA、Natural Questions）上，Grad Detect 在幻觉检测和模型弃权预测任务中均优于基于置信度或采样的基线。层消融实验覆盖 11 个模型和 4 种架构，发现最后 5 个层集中了超过 97% 的判别梯度信号，因此可实现高效部署。该方法为评估 LLM 可靠性提供了统一框架，兼具高预测性能和可解释性。
论文Grad Detect幻觉检测LLM
推荐理由：这篇论文教你用梯度信号抓幻觉，比看置信度准得多，而且发现只看最后5层就够了，省算力。
原文
07:43