Oct, 2020

更宽的神经网络是否真正有助于对抗鲁棒性？

HTML
PDF
TL;DR本文研究神经网络宽度对模型稳健性的影响，发现模型稳健性与天然精度和扰动稳定性的权衡密切相关，虽然更宽的网络可以实现更好的天然精度，但也可能导致更差的扰动稳定性从而降低模型稳健性。因此，我们提出了自适应扩大正则化参数lambda的“Width Adjusted Regularization”（WAR）方法，可以在节省调整时间的同时发挥更宽模型的稳健潜力。
发现论文，激发创造
  • 理解对抗训练: 通过鲁棒优化提升神经网络局部稳定性

    提出了一个使用鲁棒性优化（RO）增加人工神经网络（ANN）本地稳定性的通用框架。该算法是通过替代最小化-最大化过程实现的，该网络的损失是在每个参数更新时生成的扰动样本上最小化的。实验结果表明，该方法提高了网络对现有敌对示例的鲁棒性，同时使生成新的敌对示例更加困难，而且该算法还提高了网络在原始测试数据上的准确性。

    Nov, 2015

  • 朝着对大幅扰动有抵抗力的深度学习模型

    本文提出了一种网络权重初始化的方法，使其能够在更高噪声水平下学习，同时评估了在MNIST和CIFAR10数据集上增强对抗噪声对学习范围的影响，并通过对简单多维伯努利分布的理论结果进行研究，提出了一些关于MNIST数据集可行扰动范围的见解。

    Mar, 2020

  • 揭示对范数受限对抗样本的对抗训练极限

    探索对抗训练的极限，发现了通过结合更大的模型、Swish/SiLU激活函数和模型权重平均化可以训练出强健模型，同时在CIFAR-10和CIFAR-100数据集上有了大幅度的提升。

    Oct, 2020

  • 深度神经网络对抗鲁棒性正则化的研究

    本文研究了神经网络建模的正则化视角，通过将模型向分类决策边界的平滑变化进行防御，使其尽可能不改变预测结果，但会导致预测结果的置信度下降，这种正则化方法要避免性能下降。

    Nov, 2020

  • 探索对抗鲁棒深度神经网络的架构因素

    本文针对深度神经网络（DNN）易受到对抗攻击的问题，通过对网络结构的宽度和深度进行综合研究，发现更高的模型容量并不一定有助于对抗攻击抵抗力的提高，最后一个阶段降低容量实际上可以提高对抗攻击的鲁棒性，同样的参数预算下，存在一种最佳的结构以提高对抗攻击的鲁棒性，并提供了理论分析，这些架构可帮助进行设计更具对抗攻击鲁棒性的DNN。

    Oct, 2021

  • 从架构角度重新审视残差网络的对抗鲁棒性

    本文通过针对残差网络的架构设计探究在拓扑结构、深度和宽度等方面的影响，设计了一系列RobustResNets，实验证明该网络在多个数据集和对抗攻击中表现出色，达到了AutoAttack鲁棒准确率的最新记录。

    Dec, 2022

  • 特征学习网络在现实规模下的宽度一致性

    研究神经网络的宽度对特征学习动态的影响，探究网络结构，内部表示，预激活分布，稳定现象的一致性，以及相应的有限宽度偏差和频谱视角。

    May, 2023

  • 对敌对鲁棒性的子网络贡献的理论视角

    通过引入半鲁棒性概念，本论文开发了一个新的理论框架，研究子网络的鲁棒性对整个网络的影响，并在多个深度神经网络体系结构、数据集和对抗攻击中进行了实证验证。

    Jul, 2023

  • 扩展计算能力不足以确保对抗性鲁棒性

    通过推导「对抗鲁棒性的扩展规律」，本文旨在回答计算能力能在多大程度上推动对抗鲁棒性的进展，并发现了一些值得未来研究探索的方向，同时还提供了一个基于「timm」的基准测试框架供进一步的高效鲁棒深度学习分析。

    Dec, 2023

  • 探索对抗前沿：通过对抗超体积量化健壮性

    通过提出一种新的测量指标——对抗超体积（adversarial hypervolume），该研究验证了该指标对于揭示深度学习模型鲁棒性中微妙差异的有效性，为当前和未来的防御模型的韧性评估和基准制定提供了标准。

    Mar, 2024