对抗训练领域的老问题:很多攻击只是推高 loss,模型置信度其实没被真正扰动。这篇论文从 Fisher 信息矩阵几何角度重做了扰动生成,理论给得清楚,算法避开了高维矩阵计算。做鲁棒性研究的同学可以直接看实验部分和伪代码。
#对抗训练
共 15 条 · 7 天 1 条 · 30 天 5 条
信息流里打上「对抗训练」标签的资讯、产品与论文,按刊登时间排,新的在上。
11月11日
论文11:47
基于 Fisher 几何的置信度结构扰动对抗训练方法11月6日
10月30日
SAFT:只更新5%参数的稀疏对抗微调方法
这篇论文挺有意思:发现对抗鲁棒性其实藏在少数关键参数里,只微调约5%参数就能媲美全参数对抗训练,还比LoRA效果好。
Adversarial Self-Distillation:一种对抗攻击下的模型安全防御方法
论文提出 ASD,用模型自己的安全行为蒸馏给被攻击时的自己,连注入合规开头都能恢复拒答,比现有防御的攻击成功率更低。
10月22日
ExGrad:对抗训练中显式减去干净梯度以提升鲁棒性
arXiv 上新出的对抗训练方法 ExGrad,靠减掉一部分干净梯度,在 CIFAR-100 和 ImageNet-100 上把 AutoAttack 鲁棒准确率实实在在抬了一截,做鲁棒性的可以看。
10月7日
AdvSim2Real:在Web世界模型中同时训练任务、注入攻击与智能体
页面上的恶意提示能劫持浏览器智能体,这篇论文让任务、攻击和智能体在模拟器里互相对抗着变强,4B 小模型对未见攻击完成率提升 33.6%。
10月6日
研究评估在线 AutoML 管线中 IoT 网络投毒攻击对抗训练防御效果
给做 IoT 安全的人:论文实测了 5 种流式学习器被投毒时的表现,AT-SRP 防标签翻转 F1 到 0.904,方法可复现。
9月28日
8月31日
REPLICANT:规避与强化恶意软件检测器的新框架
REPLICANT 能让恶意软件绕过检测,还能帮安全人员训练更强大的检测器,效果提升近四成。
8月11日
7月16日
OpenAI 发布 GPT-5.6 Sol,对抗 prompt 注入失败率降低 6 倍
OpenAI 刚晒出 GPT-5.6 Sol,抗 prompt 注入比四个月前强了 6 倍,安全能力大幅提升。
7月2日
7月1日
5月25日
ASAM:对抗子空间对齐实现鲁棒多模态知识编辑
做多模态大模型知识更新的研究者会关注——ASAM解决了编辑后泛化差的痛点,用对抗子空间对齐让模型对语义等价变体也生效,值得在MLLM编辑任务上试试。
5月22日
LCGuard:多智能体系统中安全KV缓存共享的潜在通信防护框架
多智能体系统开发者终于有了保护KV缓存中隐式敏感信息的方案——LCGuard在不牺牲任务性能的前提下阻断信息重建攻击,做分布式AI协作的团队值得关注。