Mar, 2024

鲁棒性对抗训练下的 NAS：基准、理论与进展

PDF
TL;DR最近神经网络架构搜索 (NAS) 的发展强调考虑恶意数据下的鲁棒性架构的重要性，然而，在搜索这些鲁棒性架构时，尤其是在考虑对抗训练时，缺乏显著的基准评估和理论保证。本文旨在解决这两个挑战，做出了双重贡献：首先，我们发布了一个综合数据集，该数据集包含来自 NAS-Bench-201 搜索空间在图像数据集上经过对抗训练的网络的干净准确度和鲁棒准确度；其次，利用深度学习理论中的神经切线核 (NTK) 工具，我们建立了一个关于在干净准确度和鲁棒准确度下搜索架构的泛化理论，该理论适用于多目标对抗训练。我们坚信，我们的基准和理论见解将对 NAS 社区产生重大影响，通过可靠的再现性、高效的评估和理论基础，特别是在追求鲁棒架构方面。
发现论文，激发创造
  • 鲁棒神经架构搜索

    本研究提出一种名为 Robust Neural Architecture Search 的新型神经架构搜索方法，使用正则化项来平衡准确性和鲁棒性，并使用噪声样本而非对抗样本来搜索架构。实验证明，该方法在图像分类和对抗攻击方面均达到了最先进的性能，并取得了准确性和鲁棒性之间的良好平衡。

    Apr, 2023

  • 通过神经架构搜索实现准确可靠架构

    为了保护深度神经网络免受对抗性攻击，我们提出了 ARNAS 来搜索用于对抗训练的准确且稳健的架构。实验结果表明，所搜索到的架构具有最强的稳健性和具有竞争力的准确性，并打破了基于 NAS 的架构无法在稳健性场景下很好地进行迁移的传统观念。通过分析搜索到的优秀架构，我们还得出结论，准确且稳健的神经网络架构倾向于在输入和输出附近部署不同的结构，这对于手工设计和自动设计准确且稳健的架构具有重要的实际意义。

    May, 2024

  • 对抗鲁棒性：神经架构搜索的视角

    该研究旨在探寻能否通过神经网络的复杂拓扑结构来提升对抗性鲁棒性能力，其发现表明，基于 NAS 的架构对小规模数据集和简单任务具有更好的鲁棒性能力，而随着数据集规模或任务复杂度的增加，传统手工设计的架构具有更好的鲁棒性能力。

    Jul, 2020

  • 增强型压缩神经架构搜索对于多用途对抗鲁棒性的研究

    通过双层训练范式和适应多样攻击情境的框架，我们提出了一种适应性压缩神经构架搜索方法，使得神经网络具备更轻量级和更具鲁棒性。

    Jun, 2024

  • NAS-Bench-101：面向可重复的神经网络架构搜索

    本文介绍了 NAS-Bench-101，这是第一个公开的神经架构搜索数据集，并描述了它是如何通过在 CIFAR-10 上训练和评估超过 423k 个卷积架构来构建的，旨在帮助研究者在毫秒内查询预计算的数据集来评估各种模型的质量。此外，作者还展示了该数据集作为整体的可用性以及对一系列架构优化算法进行基准测试的实用性。

    Feb, 2019

  • NAS-Bench-NLP: 自然语言处理神经架构搜索基准

    本文的研究内容是基于文本数据集的循环神经网络搜索空间，旨在为神经架构搜索和自然语言处理 (NLP) 社区提供高潜力的研究成果。在实验中，研究者在文本数据集上训练了 14k 种循环神经网络结构，并进行了内在和外在的评估，最终测试了多个神经架构搜索算法并展示了预计算结果的可利用性。

    Jun, 2020

  • 针对多样性扰动的鲁棒 NAS 通用轻量级代理

    在这篇文章中，我们提出了一种新颖的轻量级鲁棒性零成本代理，该代理考虑了初始化状态下干净和扰动图像的特征、参数和梯度的一致性，从而实现了能够学习在多种扰动情况下显示出鲁棒性的神经结构的高效快速搜索。 针对多个基准数据集和不同搜索空间，我们的代理能够快速有效地搜索出一致鲁棒的神经结构，大大优于现有的基于清晰无注入 NAS 和基于注入 NAS 减少的搜索成本。

    Jun, 2023

  • NAS 评估非常困难

    在本文中，我们提出了用于比较 NAS 方法的基准测试，并对常用的 DARTS search space 进行了进一步的实验。我们发现，手工设计的宏观结构比搜索到的微观结构更重要，并且深度间隔是一个真实的现象，最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。

    Dec, 2019

  • 生成对抗神经架构搜索

    本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS)，并基于权重的鉴别器提供的奖励，采用增强学习训练生成器，探索搜寻空间而无需评估大量体系结构，通过三个公共 NAS 基准测试，在多个情况下 GA-NAS 都能打败已发布的最佳结果，同时 GA-NAS 可以处理特定搜寻约束和空间，能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。

    May, 2021

  • 图神经网络的对抗鲁棒性神经架构搜索

    我们提出了一种名为 G-RNA 的新型鲁棒神经结构搜索框架，它为消息传递机制提供了一个鲁棒的搜索空间，并定义了一个鲁棒度量来指导搜索过程，可以有效地搜索到最优的鲁棒性较强的 GNN， 在对基准数据集进行的广泛实验结果中，G-RNA 在对抗攻击下优于手动设计的鲁棒性 GNN 和基本的图形 NAS 基线 12.1％至 23.4％。

    Apr, 2023