对抗鲁棒性：神经架构搜索的视角

ICLRJul, 2020

对抗鲁棒性：神经架构搜索的视角

On Adversarial Robustness: A Neural Architecture Search perspective

Chaitanya Devaguptapu, Devansh Agarwal, Gaurav Mittal, Pulkit Gopalani, Vineeth N Balasubramanian

TL;DR该研究旨在探寻能否通过神经网络的复杂拓扑结构来提升对抗性鲁棒性能力，其发现表明，基于 NAS 的架构对小规模数据集和简单任务具有更好的鲁棒性能力，而随着数据集规模或任务复杂度的增加，传统手工设计的架构具有更好的鲁棒性能力。

Abstract

adversarial robustness of deep learning models has gained much traction in the last few years. Various attacks and defenses are proposed to improve the adversarial robustness of modern-day deep learning architect

adversarial robustness neural network architecture nas-based architectures hand-crafted architectures darts

发现论文，激发创造

当 NAS 遇上鲁棒性：寻找对抗攻击的鲁棒架构

通过一次性神经网络结构搜索，研究了对对抗攻击弹性更强的网络结构模式，并基于这些模式提出了一族更具弹性的网络结构 RobNets。这些结构在多个数据集上表现出更优异的弹性表现，即使具有更少的参数数量，在白盒和黑盒攻击下都表现出 5% 的绝对收益。

Nov, 2019

鲁棒神经架构搜索

本研究提出一种名为 Robust Neural Architecture Search 的新型神经架构搜索方法，使用正则化项来平衡准确性和鲁棒性，并使用噪声样本而非对抗样本来搜索架构。实验证明，该方法在图像分类和对抗攻击方面均达到了最先进的性能，并取得了准确性和鲁棒性之间的良好平衡。

Apr, 2023

通过神经架构搜索实现准确可靠架构

为了保护深度神经网络免受对抗性攻击，我们提出了 ARNAS 来搜索用于对抗训练的准确且稳健的架构。实验结果表明，所搜索到的架构具有最强的稳健性和具有竞争力的准确性，并打破了基于 NAS 的架构无法在稳健性场景下很好地进行迁移的传统观念。通过分析搜索到的优秀架构，我们还得出结论，准确且稳健的神经网络架构倾向于在输入和输出附近部署不同的结构，这对于手工设计和自动设计准确且稳健的架构具有重要的实际意义。

May, 2024

神经架构设计与鲁棒性：一个数据集

本文研究探讨了寻找更具有鲁棒性的体系结构对于减少深度学习模型在实际应用中对于输入数据微小扰动导致的错误决策的重要性。在评估鲁棒性方面，我们基于 NAS-Bench-201 进行神经网络架构搜索，对 6466 种不同的网络设计进行评估并引入数据库，发现对神经网络的拓扑结构进行优化可以显著提高其鲁棒性。

Jun, 2023

鲁棒性对抗训练下的 NAS：基准、理论与进展

最近神经网络架构搜索 (NAS) 的发展强调考虑恶意数据下的鲁棒性架构的重要性，然而，在搜索这些鲁棒性架构时，尤其是在考虑对抗训练时，缺乏显著的基准评估和理论保证。本文旨在解决这两个挑战，做出了双重贡献：首先，我们发布了一个综合数据集，该数据集包含来自 NAS-Bench-201 搜索空间在图像数据集上经过对抗训练的网络的干净准确度和鲁棒准确度；其次，利用深度学习理论中的神经切线核 (NTK) 工具，我们建立了一个关于在干净准确度和鲁棒准确度下搜索架构的泛化理论，该理论适用于多目标对抗训练。我们坚信，我们的基准和理论见解将对 NAS 社区产生重大影响，通过可靠的再现性、高效的评估和理论基础，特别是在追求鲁棒架构方面。

Mar, 2024

RobArch：设计抗击恶意攻击的稳健架构

本研究通过对 DNN 体系结构组件进行大规模系统研究，提炼出 18 个可操作的鲁棒网络设计准则，构建了一系列在参数容量上对抗攻击稳健的模型家族，并介绍了新型 Robust Architecture (RobArch) 模型的应用。通过我们的实验，RobArch 在 RobustBench ImageNet 排行榜上的 AutoAttack 准确性达到了新的 state-of-the-art。

Jan, 2023

图神经网络的对抗鲁棒性神经架构搜索

我们提出了一种名为 G-RNA 的新型鲁棒神经结构搜索框架，它为消息传递机制提供了一个鲁棒的搜索空间，并定义了一个鲁棒度量来指导搜索过程，可以有效地搜索到最优的鲁棒性较强的 GNN，在对基准数据集进行的广泛实验结果中，G-RNA 在对抗攻击下优于手动设计的鲁棒性 GNN 和基本的图形 NAS 基线 12.1％至 23.4％。

Apr, 2023

增强型压缩神经架构搜索对于多用途对抗鲁棒性的研究

通过双层训练范式和适应多样攻击情境的框架，我们提出了一种适应性压缩神经构架搜索方法，使得神经网络具备更轻量级和更具鲁棒性。

Jun, 2024

进化鲁棒的神经网络结构抵御对抗性攻击

该论文提出了使用对抗攻击作为函数评估来搜索神经网络体系结构，以自动抵抗这种攻击。实验表明，通过在搜索中添加新的连接方式和卷积操作和连接层的选择，能够进化出对抗样本具有内在准确性和鲁棒性的体系结构，并证明了更具有鲁棒性的网络体系结构的存在以及开发和探索神经网络的新可能性。

Jun, 2019

RobustART：建筑设计和训练技术鲁棒性基准测试

提出了 RobustART，对 ImageNet 的 ARchitecture 设计和 Training 技术进行了全面的稳健性调查基准，验证了对于 Transformer 和 MLP-Mixer，Adversarial 训练在稳健性方面是有效的，CNNs > Transformers > MLP-Mixers 在稳健性方面表现更好，RobustART 为深入了解设计强大的 DNNs 机制提供了新的视角。

Sep, 2021