当 NAS 遇上鲁棒性:寻找对抗攻击的鲁棒架构
该论文提出了使用对抗攻击作为函数评估来搜索神经网络体系结构,以自动抵抗这种攻击。实验表明,通过在搜索中添加新的连接方式和卷积操作和连接层的选择,能够进化出对抗样本具有内在准确性和鲁棒性的体系结构,并证明了更具有鲁棒性的网络体系结构的存在以及开发和探索神经网络的新可能性。
Jun, 2019
该研究旨在探寻能否通过神经网络的复杂拓扑结构来提升对抗性鲁棒性能力,其发现表明,基于 NAS 的架构对小规模数据集和简单任务具有更好的鲁棒性能力,而随着数据集规模或任务复杂度的增加,传统手工设计的架构具有更好的鲁棒性能力。
Jul, 2020
本文研究探讨了寻找更具有鲁棒性的体系结构对于减少深度学习模型在实际应用中对于输入数据微小扰动导致的错误决策的重要性。在评估鲁棒性方面,我们基于 NAS-Bench-201 进行神经网络架构搜索,对 6466 种不同的网络设计进行评估并引入数据库,发现对神经网络的拓扑结构进行优化可以显著提高其鲁棒性。
Jun, 2023
本研究通过对 DNN 体系结构组件进行大规模系统研究,提炼出 18 个可操作的鲁棒网络设计准则,构建了一系列在参数容量上对抗攻击稳健的模型家族,并介绍了新型 Robust Architecture (RobArch) 模型的应用。通过我们的实验,RobArch 在 RobustBench ImageNet 排行榜上的 AutoAttack 准确性达到了新的 state-of-the-art。
Jan, 2023
为了保护深度神经网络免受对抗性攻击,我们提出了 ARNAS 来搜索用于对抗训练的准确且稳健的架构。实验结果表明,所搜索到的架构具有最强的稳健性和具有竞争力的准确性,并打破了基于 NAS 的架构无法在稳健性场景下很好地进行迁移的传统观念。通过分析搜索到的优秀架构,我们还得出结论,准确且稳健的神经网络架构倾向于在输入和输出附近部署不同的结构,这对于手工设计和自动设计准确且稳健的架构具有重要的实际意义。
May, 2024
采用可微分搜索方法搜索出具有鲁棒性的神经网络模型,该模型能够抵御针对神经网络模型的各种攻击手段,本文的实验结果表明,该方法比基准算法具有更高的准确度和更强的鲁棒性。
Dec, 2020
通过添加一个用于协作训练的对抗样本检测网络和设计一种新的数据采样策略,我们建议了一个简单的架构来构建具有一定鲁棒性的模型,该模型能够适应许多不同的对抗攻击,并针对 Cifar10 dataset 的实验表明这种设计对模型的鲁棒性具有积极影响。
Apr, 2022
我们研究的目标是统一现有作品在架构组件如何影响 CNN 的对抗鲁棒性方面的分歧意见。为了实现我们的目标,我们综合了三个可推广的鲁棒架构设计原则:(a) 深度和宽度配置的最佳范围,(b) 优先使用卷积而非拼贴块的初始阶段,和 (c) 通过采用挤压和激励块以及非参数平滑激活函数的鲁棒残差块设计。通过在广泛的数据集规模、对抗训练方法、模型参数和网络设计空间上进行大量实验证明,我们的原则始终显著提高 AutoAttack 的准确性:CIFAR-10 和 CIFAR-100 上为 1-3 个百分点 (pp),ImageNet 上为 4-9 个百分点 (pp)。代码可以公开访问该 URL。
Aug, 2023
本文针对深度神经网络(DNN)易受到对抗攻击的问题,通过对网络结构的宽度和深度进行综合研究,发现更高的模型容量并不一定有助于对抗攻击抵抗力的提高,最后一个阶段降低容量实际上可以提高对抗攻击的鲁棒性,同样的参数预算下,存在一种最佳的结构以提高对抗攻击的鲁棒性,并提供了理论分析,这些架构可帮助进行设计更具对抗攻击鲁棒性的 DNN。
Oct, 2021
从结构的角度改进了神经网络的鲁棒性,提出了一种基于架构参数的约束方式,通过单变量对数正态分布逼近了整个网络的 Lipschitz 常数,累积函数约束分布参数可满足信赖度要求,结果表明该算法比各种 NAS 算法搜索的拥有对抗性训练的神经体系结构以及高效的人工设计模型都有更好的表现,对不同数据集进行了多种攻击。
Sep, 2020