神经架构设计与鲁棒性：一个数据集

ICLRJun, 2023

神经架构设计与鲁棒性：一个数据集

Neural Architecture Design and Robustness: A Dataset

Steffen Jung, Jovita Lukasik, Margret Keuper

TL;DR本文研究探讨了寻找更具有鲁棒性的体系结构对于减少深度学习模型在实际应用中对于输入数据微小扰动导致的错误决策的重要性。在评估鲁棒性方面，我们基于 NAS-Bench-201 进行神经网络架构搜索，对 6466 种不同的网络设计进行评估并引入数据库，发现对神经网络的拓扑结构进行优化可以显著提高其鲁棒性。

Abstract

deep learning models have proven to be successful in a wide range of machine learning tasks. Yet, they are often highly sensitive to perturbations on the input data which can lead to incorrect decisions with high confidence, hampering their deployment for practical use-cases. Thus, fin

deep learning models input data perturbations robust architectures neural architecture search adversarial attacks

发现论文，激发创造

当 NAS 遇上鲁棒性：寻找对抗攻击的鲁棒架构

通过一次性神经网络结构搜索，研究了对对抗攻击弹性更强的网络结构模式，并基于这些模式提出了一族更具弹性的网络结构 RobNets。这些结构在多个数据集上表现出更优异的弹性表现，即使具有更少的参数数量，在白盒和黑盒攻击下都表现出 5% 的绝对收益。

Nov, 2019

DSRNA: 可微分搜索鲁棒神经结构

采用可微分搜索方法搜索出具有鲁棒性的神经网络模型，该模型能够抵御针对神经网络模型的各种攻击手段，本文的实验结果表明，该方法比基准算法具有更高的准确度和更强的鲁棒性。

Dec, 2020

对抗鲁棒性：神经架构搜索的视角

该研究旨在探寻能否通过神经网络的复杂拓扑结构来提升对抗性鲁棒性能力，其发现表明，基于 NAS 的架构对小规模数据集和简单任务具有更好的鲁棒性能力，而随着数据集规模或任务复杂度的增加，传统手工设计的架构具有更好的鲁棒性能力。

Jul, 2020

RobustART：建筑设计和训练技术鲁棒性基准测试

提出了 RobustART，对 ImageNet 的 ARchitecture 设计和 Training 技术进行了全面的稳健性调查基准，验证了对于 Transformer 和 MLP-Mixer，Adversarial 训练在稳健性方面是有效的，CNNs > Transformers > MLP-Mixers 在稳健性方面表现更好，RobustART 为深入了解设计强大的 DNNs 机制提供了新的视角。

Sep, 2021

RobArch：设计抗击恶意攻击的稳健架构

本研究通过对 DNN 体系结构组件进行大规模系统研究，提炼出 18 个可操作的鲁棒网络设计准则，构建了一系列在参数容量上对抗攻击稳健的模型家族，并介绍了新型 Robust Architecture (RobArch) 模型的应用。通过我们的实验，RobArch 在 RobustBench ImageNet 排行榜上的 AutoAttack 准确性达到了新的 state-of-the-art。

Jan, 2023

进化鲁棒的神经网络结构抵御对抗性攻击

该论文提出了使用对抗攻击作为函数评估来搜索神经网络体系结构，以自动抵抗这种攻击。实验表明，通过在搜索中添加新的连接方式和卷积操作和连接层的选择，能够进化出对抗样本具有内在准确性和鲁棒性的体系结构，并证明了更具有鲁棒性的网络体系结构的存在以及开发和探索神经网络的新可能性。

Jun, 2019

通过神经架构搜索实现准确可靠架构

为了保护深度神经网络免受对抗性攻击，我们提出了 ARNAS 来搜索用于对抗训练的准确且稳健的架构。实验结果表明，所搜索到的架构具有最强的稳健性和具有竞争力的准确性，并打破了基于 NAS 的架构无法在稳健性场景下很好地进行迁移的传统观念。通过分析搜索到的优秀架构，我们还得出结论，准确且稳健的神经网络架构倾向于在输入和输出附近部署不同的结构，这对于手工设计和自动设计准确且稳健的架构具有重要的实际意义。

May, 2024

带有李普希茨连续性的鲁棒神经网络

本文针对神经网络的稳健性和稳定性问题，提出了一种通用的训练方法，旨在使现有的神经网络架构更能够适应输入的视觉扰动，该方法无需进行数据扩充或更改网络架构。通过现有的神经网络架构实验，理论证据和实证结果证明，当使用该方法进行训练时，模型性能会显著提高，尤其是在噪声数据存在的情况下。

Nov, 2018

鲁棒性对抗训练下的 NAS：基准、理论与进展

最近神经网络架构搜索 (NAS) 的发展强调考虑恶意数据下的鲁棒性架构的重要性，然而，在搜索这些鲁棒性架构时，尤其是在考虑对抗训练时，缺乏显著的基准评估和理论保证。本文旨在解决这两个挑战，做出了双重贡献：首先，我们发布了一个综合数据集，该数据集包含来自 NAS-Bench-201 搜索空间在图像数据集上经过对抗训练的网络的干净准确度和鲁棒准确度；其次，利用深度学习理论中的神经切线核 (NTK) 工具，我们建立了一个关于在干净准确度和鲁棒准确度下搜索架构的泛化理论，该理论适用于多目标对抗训练。我们坚信，我们的基准和理论见解将对 NAS 社区产生重大影响，通过可靠的再现性、高效的评估和理论基础，特别是在追求鲁棒架构方面。

Mar, 2024

对抗性鲁棒的神经网络结构

从结构的角度改进了神经网络的鲁棒性，提出了一种基于架构参数的约束方式，通过单变量对数正态分布逼近了整个网络的 Lipschitz 常数，累积函数约束分布参数可满足信赖度要求，结果表明该算法比各种 NAS 算法搜索的拥有对抗性训练的神经体系结构以及高效的人工设计模型都有更好的表现，对不同数据集进行了多种攻击。

Sep, 2020