本文研究探讨了寻找更具有鲁棒性的体系结构对于减少深度学习模型在实际应用中对于输入数据微小扰动导致的错误决策的重要性。在评估鲁棒性方面，我们基于 NAS-Bench-201 进行神经网络架构搜索，对 6466 种不同的网络设计进行评估并引入数据库，发现对神经网络的拓扑结构进行优化可以显著提高其鲁棒性。

Jun, 2023

为了保护深度神经网络免受对抗性攻击，我们提出了 ARNAS 来搜索用于对抗训练的准确且稳健的架构。实验结果表明，所搜索到的架构具有最强的稳健性和具有竞争力的准确性，并打破了基于 NAS 的架构无法在稳健性场景下很好地进行迁移的传统观念。通过分析搜索到的优秀架构，我们还得出结论，准确且稳健的神经网络架构倾向于在输入和输出附近部署不同的结构，这对于手工设计和自动设计准确且稳健的架构具有重要的实际意义。

May, 2024

该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

Jun, 2020

通过一次性神经网络结构搜索，研究了对对抗攻击弹性更强的网络结构模式，并基于这些模式提出了一族更具弹性的网络结构 RobNets。这些结构在多个数据集上表现出更优异的弹性表现，即使具有更少的参数数量，在白盒和黑盒攻击下都表现出 5% 的绝对收益。

Nov, 2019

该论文提出了使用对抗攻击作为函数评估来搜索神经网络体系结构，以自动抵抗这种攻击。实验表明，通过在搜索中添加新的连接方式和卷积操作和连接层的选择，能够进化出对抗样本具有内在准确性和鲁棒性的体系结构，并证明了更具有鲁棒性的网络体系结构的存在以及开发和探索神经网络的新可能性。

Jun, 2019

本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

Jun, 2018

该研究旨在探寻能否通过神经网络的复杂拓扑结构来提升对抗性鲁棒性能力，其发现表明，基于 NAS 的架构对小规模数据集和简单任务具有更好的鲁棒性能力，而随着数据集规模或任务复杂度的增加，传统手工设计的架构具有更好的鲁棒性能力。

Jul, 2020

神经架构搜索被广泛应用于各种计算机视觉任务，其中不可微分神经架构搜索是其中一个有前景的子领域。然而，基于梯度的方法受到离散化误差的影响，从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险，并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性，我们引入了一种新的单阶段搜索协议，不依赖于解码连续架构。我们的结果表明，这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能，并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天，由于权重重用，获得了计算效率高的架构。此外，我们提出了一种新的数据集分割过程，大大提高了结果并防止了 DARTS 中架构退化。

May, 2024

提出了 RobustART，对 ImageNet 的 ARchitecture 设计和 Training 技术进行了全面的稳健性调查基准，验证了对于 Transformer 和 MLP-Mixer，Adversarial 训练在稳健性方面是有效的，CNNs > Transformers > MLP-Mixers 在稳健性方面表现更好，RobustART 为深入了解设计强大的 DNNs 机制提供了新的视角。

Sep, 2021

本研究提出一种名为自动对抗攻击与防御（ $A^{3} D$ ）的新平台，通过使用多种神经架构搜索和优化算法，包括考虑四类噪声和评估指标，来搜索具有鲁棒性的神经网络结构，并提供多个优化算法搜索有效的对抗攻击。该平台达到了提高模型鲁棒性的效果，并为自动化机器学习的应用提供了基准和工具。

Mar, 2022