深度神经网络对扰动的敏感性估计器
本文提出了一种新的扰动流形及其关联的影响度量方法,通过该方法可以量化各种扰动对 DNN 分类器的影响,主要应用于四个模型构建任务:检测异常值、分析模型体系结构的敏感性、比较训练和测试集之间的网络敏感性以及定位易受攻击的区域。实验证明,该方法在 CIFAR10 和 MNIST 数据集上的 ResNet50 和 DenseNet121 模型中具有较好的性能。
Jan, 2019
深度神经网络在计算机视觉任务中表现出色,但对于关键应用,需要研究它们的行为和决策原因。本文提出了调查 DNN 层次重要性的方法,旨在估算其对准确性的敏感性,并提出了用于评估该方法的新数据集,为提高 DNN 效率和硬件故障鲁棒性(如位交换)提供了参考。
Aug, 2023
本文提出了一种快速特征生成技术,可以对深度神经网络进行快速的安全检测,尤其是可以在几秒钟内检测出所谓的后门 (backdoors),并且无需大量计算资源和训练数据。
Jul, 2020
本文提出了两种轻量级策略来找到最小的对抗扰动,区别于现有技术,该方法允许对近似距离相对于理论距离进行误差估计理论,得到了实验结果的支撑,表明该方法适用于靠近分类边界的样本,具有抗击任何对抗性攻击的证明鲁棒性保证。
Jan, 2022
基于深度神经网络的时间同步状态估计器对于输入扰动具有鲁棒性和可信度的分析验证,并通过批量标准化解决混合整数线性规划问题的可扩展性限制。在修改的 IEEE 34 节点系统和真实的大型配电系统上,验证了该框架在面对微相位测量单元观测不完整的情况下进行时间同步配电系统状态估计的能力。
Nov, 2023
本文提出了一种基于凸优化框架和半定规划的方法,用于计算 DNNs 的 Lipschitz 常数的保证上界,通过描述激活函数的性质,使得算法具有较高的准确性和可伸缩性,实验证明该方法的 Lipschitz 边界最准确,可用于有效提供稳健性保证。
Jun, 2019
本研究通过对深度学习模型的多方面度量,特别是模型对输入扰动的敏感性度量,研究了大规模的、过度参数化的神经网络与小规模的夹杂网络的复杂度与泛化之间的紧张关系,并得出结论:训练的神经网络在其训练数据范围内更加鲁棒,这种鲁棒性与泛化能力有关联,而诸如数据扩增和修正线性单元等好的泛化因素会带来更强的鲁棒性。
Feb, 2018
通过研究 DNN 分类器的布尔函数序列的噪声敏感性,深入理解了常见 DNN 模型中观察到的非鲁棒现象,并探讨了两种标准 DNN 架构(完全连接和卷积模型)在高斯权重下的特性。
Aug, 2023
对深度神经网络 (DNNs) 进行参数扰动敏感性分析,使用权重和偏差参数对 VGG、ResNet 和 DenseNet 三种 DNN 架构进行实验,以改进虹膜攻击检测的性能,参数级集成平均提高 43.58% 和 9.25%。
Nov, 2023
我们在简化的双曲线两点边界值问题的模型类别中,证明了解集的深度神经网络 (DNN) 表达能力率的上界,并给出了与奇异扰动参数一致的 Sobolev 范数上的表达能力上界。我们证明了各种 DNN 体系结构的表达能力率上界,包括 ReLU NN,spiking NN,$ anh$- 和 sigmoid-activated NN。后者激活函数可以显式地表示 “指数性边界层解特征”,在 DNN 的最后一层中,即在浅层子网络中,并具有更好的表达能力率上界。我们证明了所有 DNN 体系结构均允许在所谓的 “能量” 和 “平衡” Sobolev 范数中,对于解析输入数据进行强大的指数解表达能力。
Jan, 2024