对抗性鲁棒的神经网络结构

Sep, 2020

Adversarially Robust Neural Architectures

Minjing Dong, Yanxi Li, Yunhe Wang, Chang Xu

TL;DR从结构的角度改进了神经网络的鲁棒性，提出了一种基于架构参数的约束方式，通过单变量对数正态分布逼近了整个网络的 Lipschitz 常数，累积函数约束分布参数可满足信赖度要求，结果表明该算法比各种 NAS 算法搜索的拥有对抗性训练的神经体系结构以及高效的人工设计模型都有更好的表现，对不同数据集进行了多种攻击。

Abstract

deep neural networks (DNNs) are vulnerable to adversarial attacks. Existing methods are devoted to developing various robust training strategies or regularizations to update the weights of the neural network. But

deep neural networks adversarial attacks neural architecture lipschitz constant robustness

发现论文，激发创造

RobArch：设计抗击恶意攻击的稳健架构

本研究通过对 DNN 体系结构组件进行大规模系统研究，提炼出 18 个可操作的鲁棒网络设计准则，构建了一系列在参数容量上对抗攻击稳健的模型家族，并介绍了新型 Robust Architecture (RobArch) 模型的应用。通过我们的实验，RobArch 在 RobustBench ImageNet 排行榜上的 AutoAttack 准确性达到了新的 state-of-the-art。

Jan, 2023

探索对抗鲁棒深度神经网络的架构因素

本文针对深度神经网络（DNN）易受到对抗攻击的问题，通过对网络结构的宽度和深度进行综合研究，发现更高的模型容量并不一定有助于对抗攻击抵抗力的提高，最后一个阶段降低容量实际上可以提高对抗攻击的鲁棒性，同样的参数预算下，存在一种最佳的结构以提高对抗攻击的鲁棒性，并提供了理论分析，这些架构可帮助进行设计更具对抗攻击鲁棒性的 DNN。

Oct, 2021

使用 Lipschitz 界限训练鲁棒神经网络

通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

May, 2020

神经架构扩张增强对抗性鲁棒性

本文介绍了基于神经网络框架的扩张算法来提高卷积神经网络在对抗攻击下的鲁棒性能，实验结果表明该算法能够在不损失标准准确性的前提下提高对抗鲁棒性。

Aug, 2021

当 NAS 遇上鲁棒性：寻找对抗攻击的鲁棒架构

通过一次性神经网络结构搜索，研究了对对抗攻击弹性更强的网络结构模式，并基于这些模式提出了一族更具弹性的网络结构 RobNets。这些结构在多个数据集上表现出更优异的弹性表现，即使具有更少的参数数量，在白盒和黑盒攻击下都表现出 5% 的绝对收益。

Nov, 2019

神经架构设计与鲁棒性：一个数据集

本文研究探讨了寻找更具有鲁棒性的体系结构对于减少深度学习模型在实际应用中对于输入数据微小扰动导致的错误决策的重要性。在评估鲁棒性方面，我们基于 NAS-Bench-201 进行神经网络架构搜索，对 6466 种不同的网络设计进行评估并引入数据库，发现对神经网络的拓扑结构进行优化可以显著提高其鲁棒性。

Jun, 2023

对抗鲁棒性：神经架构搜索的视角

该研究旨在探寻能否通过神经网络的复杂拓扑结构来提升对抗性鲁棒性能力，其发现表明，基于 NAS 的架构对小规模数据集和简单任务具有更好的鲁棒性能力，而随着数据集规模或任务复杂度的增加，传统手工设计的架构具有更好的鲁棒性能力。

Jul, 2020

DSRNA: 可微分搜索鲁棒神经结构

采用可微分搜索方法搜索出具有鲁棒性的神经网络模型，该模型能够抵御针对神经网络模型的各种攻击手段，本文的实验结果表明，该方法比基准算法具有更高的准确度和更强的鲁棒性。

Dec, 2020

带有李普希茨连续性的鲁棒神经网络

本文针对神经网络的稳健性和稳定性问题，提出了一种通用的训练方法，旨在使现有的神经网络架构更能够适应输入的视觉扰动，该方法无需进行数据扩充或更改网络架构。通过现有的神经网络架构实验，理论证据和实证结果证明，当使用该方法进行训练时，模型性能会显著提高，尤其是在噪声数据存在的情况下。

Nov, 2018

关于随机神经网络的 Lipschitz 常数

神经网络对输入的微小敌对扰动非常敏感，该研究在随机 ReLU 神经网络（即权重随机选择并使用 ReLU 激活函数的神经网络）中研究了 Lipschitz 常数，并在浅层神经网络中表征了 Lipschitz 常数，而在足够宽的深层神经网络中证明了 Lipschitz 常数的上下界。这些边界在深度上存在对数因子的匹配。

Nov, 2023