通过引入半鲁棒性概念,本论文开发了一个新的理论框架,研究子网络的鲁棒性对整个网络的影响,并在多个深度神经网络体系结构、数据集和对抗攻击中进行了实证验证。
Jul, 2023
通过隐式集成模型的新视角理解残差网络,并提出一种基于知识分组的训练框架,通过子网络采样和训练来提高残差网络的性能和效率。
Aug, 2023
本论文介绍了一种低成本框架用于构建子网络集合,通过从已训练的母模型中采样、扰动和优化子网络的方式形成子网络集合,研究发现该方法可以显著提高训练效率、参数利用以及泛化性能,同时最小化计算成本,通过利用深度神经网络的潜力来构建更好的系统。
Nov, 2023
该研究发现随机初始化的 DNN 中存在天生的稳健的子网络,其稳健准确性可以匹配或超过与之相似的经过敌对性训练的网络,从而进一步建立了关于模型稳健性的新视角并扩展了 Lottery Ticket Hypothesis。
Oct, 2021
通过使用多个独立的子网络组成的集成模型来提高模型性能和可靠性,并通过新的损失函数鼓励模型之间的多样性,在保持计算效率的同时,有效地改善模型的不确定性估计。在计算机视觉、自然语言处理和基因组数据等多个领域的广泛实验中,我们的方法在预测可靠性方面取得了显著改善。
研究卷积神经网络的鲁棒性,证明卷积神经网络对高层卷积层内部扰动具有惊人的鲁棒性,但底层卷积层的鲁棒性较弱,对于相同的扰动会使性能急剧下降,建议进一步研究如何增强卷积神经网络对于内部扰动的鲁棒性。
Mar, 2017
随机子样本和高丢失率的应用可以提高深度神经网络对抗性攻击的鲁棒性,同时以抵御一定的精度损失为代价获取新的稳健特征。
May, 2019
本研究解决了深度神经网络输出不稳定的问题,通过提出一种稳定训练方法,使其能够应对常见图像处理带来的输入扭曲,并在大规模近似重复检测、类图像排序和嘈杂数据集分类等方面取得了鲁棒且最先进的性能。
Apr, 2016
本文通过在 ImageNet 数据集中进行模型调试,探索模型对不同物体属性的敏感性,并创建了一个对象编辑工具包和基准测试 ImageNet-E,以评估图像分类器的鲁棒性。研究发现大多数深度学习模型对属性更改敏感,背景的微小变化可以导致平均准确率下降 9.23%。此外,研究还发现某些健壮性模型针对属性更改的鲁棒性不如基线模型,并提供了改善属性鲁棒性的方法。
Mar, 2023
研究表明对抗攻击是深度神经网络的潜在威胁,本文提出了一种动态网络架构 AW-Net,通过梯度规范化、分化处理和根据输入样本调整网络权重的方法,实现了同时提高准确性和鲁棒性的性能。
Jun, 2023