AITOPAI热报

深度神经网络

共 6 条相关 AI 资讯
9月1日
09:19
09:19官方账号arXiv cs.LG@Yingdan Shi, Xiang Xu, Kaize Ding, Alfred O. Hero, Ren Wang
精选73°
研究人员发现深度神经网络在持续机器学习中存在可塑性崩溃问题。该研究通过理论分析表明，持续遗忘操作会在参数空间中累积几何约束，导致饱和子空间限制未来更新。实验在多种架构、数据集和方法上验证了这一现象，表现为两种失效模式：前向失效和后向失效。这一发现揭示了机器遗忘系统长期可靠性的关键障碍。
论文机器遗忘可塑性崩溃深度神经网络
推荐理由：MIT团队发现机器持续遗忘中的可塑性崩溃现象，解释了为什么模型会逐渐丧失遗忘能力，甚至重新记住已删除信息。
原文
8月28日
20:13
20:13官方账号arXiv cs.LG@Kathlén Kohn, Giovanni Luca Marchetti, Alex Massarenti, Massimiliano Mella
精选
研究人员提出猜想：固定数量的不同非零多项式与足够高阶的通用多项式组合后会产生线性独立的多项式。该研究证明了两个多项式情况及多项式次数有界时的任意数量多项式情况。这一猜想与深度全连接神经网络架构的可识别性密切相关，特别是对于具有递增次数的层特定激活函数的网络架构，该研究完全刻画了产生相同端到端网络函数的参数集合。
论文深度神经网络多项式可识别性
推荐理由：这篇论文解决了深度神经网络中多项式激活函数的可识别性问题，对理解网络参数对称性有重要意义。
原文
8月26日
10:23
10:23官方账号arXiv cs.LG@Hanna Jiamei Zhang, Alan Papalia, Michael Everett, David M. Rosen
精选
针对ReLU神经网络的线性规划（LP）和半定规划（SDP）松弛，由于显著的松弛间隙，导致过于保守的安全保证。虽然完全正规划（CPP）公式关闭了这一差距，但其最经济的可处理松弛——双重非负规划（DNN）保留了关键的约束，但其规模超出了实际规模的内点方法的范围。我们提出了一种新的特征值最大化程序，在非唯一乘子空间中搜索有效的证书，即全局最优保证。实验表明，我们的方法$( ext{DNN})^2$产生的界限始终比标准SDP方法更紧，通常与精确解相匹配，并且当存在有效证书时，我们的认证程序确认了全局最优性。这些结果是提供紧、可验证和计算可扩展的验证保证的关键步骤，这些保证对于在安全关键的自驾驶系统中部署神经网络控制器和感知模块至关重要。
论文深度神经网络安全验证特征值最大化
推荐理由：这篇论文提出了一种新的方法，可以更精确地验证深度神经网络的安全性能，对于安全关键的自驾驶系统具有重要意义。
原文
7月23日
12:05
12:05官方账号arXiv cs.LG@William Kengne, Ehud Mossa Ockegna
该论文提出稀疏惩罚深度神经网络（SPDNN）估计器，处理协变量偏移下的非参数分位数和Huber回归。当密度比未知时，采用两步预训练：先构建最小二乘SPDNN估计密度比，再用于重加权回归。在Hölder光滑函数类中，SPDNN估计器能达到（对数因子内）极小化最优收敛率，适用于i.i.d.和多种时间序列模型（如φ-mixing、强混合等）。
论文SPDNN协变量偏移非参数回归
推荐理由：这篇论文提出了SPDNN方法，专门解决训练数据和目标数据分布不同的问题。它能量化回归和Huber回归，还能处理时间序列依赖数据。理论证明能达到最优收敛速度，挺扎实的。
原文
7月13日
09:28
09:28官方账号arXiv cs.LG@Andrej Bogdanov, Alon Rosen, Neekon Vafa
论文提出了一种方法，允许攻击者在深度前馈神经网络中植入后门，这些后门在白盒设置下统计上不可检测，即后门模型与诚实训练模型的总变差距离很小。后门可对每个输入提供基于不变性的对抗样本，将距离较远的输入映射到异常接近的输出。论文证明，在没有后门的情况下，基于标准密码学假设，无法在多项式时间内生成任何此类对抗样本。理论和初步实验展示模型训练者与用户之间的基本权力不对称。
论文后门攻击深度神经网络对抗样本
推荐理由：这篇论文揭示了AI安全的新漏洞：攻击者能植入无法被检测到的后门，生成对抗样本。对做模型安全的人很重要。
原文
6月16日
12:17