反强盗神经架构搜索用于模型防御
该论文提出了使用对抗攻击作为函数评估来搜索神经网络体系结构,以自动抵抗这种攻击。实验表明,通过在搜索中添加新的连接方式和卷积操作和连接层的选择,能够进化出对抗样本具有内在准确性和鲁棒性的体系结构,并证明了更具有鲁棒性的网络体系结构的存在以及开发和探索神经网络的新可能性。
Jun, 2019
通过一次性神经网络结构搜索,研究了对对抗攻击弹性更强的网络结构模式,并基于这些模式提出了一族更具弹性的网络结构RobNets。这些结构在多个数据集上表现出更优异的弹性表现,即使具有更少的参数数量,在白盒和黑盒攻击下都表现出5%的绝对收益。
Nov, 2019
该研究旨在探寻能否通过神经网络的复杂拓扑结构来提升对抗性鲁棒性能力,其发现表明,基于 NAS 的架构对小规模数据集和简单任务具有更好的鲁棒性能力,而随着数据集规模或任务复杂度的增加,传统手工设计的架构具有更好的鲁棒性能力。
Jul, 2020
本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS),并基于权重的鉴别器提供的奖励,采用增强学习训练生成器,探索搜寻空间而无需评估大量体系结构,通过三个公共 NAS 基准测试,在多个情况下 GA-NAS 都能打败已发布的最佳结果,同时 GA-NAS 可以处理特定搜寻约束和空间,能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。
May, 2021
本研究提出一种名为自动对抗攻击与防御( $A^{3}D$ )的新平台,通过使用多种神经架构搜索和优化算法,包括考虑四类噪声和评估指标,来搜索具有鲁棒性的神经网络结构,并提供多个优化算法搜索有效的对抗攻击。该平台达到了提高模型鲁棒性的效果,并为自动化机器学习的应用提供了基准和工具。
Mar, 2022
本研究提出一种名为 Robust Neural Architecture Search 的新型神经架构搜索方法,使用正则化项来平衡准确性和鲁棒性,并使用噪声样本而非对抗样本来搜索架构。实验证明,该方法在图像分类和对抗攻击方面均达到了最先进的性能,并取得了准确性和鲁棒性之间的良好平衡。
Apr, 2023
最近神经网络架构搜索(NAS)的发展强调考虑恶意数据下的鲁棒性架构的重要性,然而,在搜索这些鲁棒性架构时,尤其是在考虑对抗训练时,缺乏显著的基准评估和理论保证。本文旨在解决这两个挑战,做出了双重贡献:首先,我们发布了一个综合数据集,该数据集包含来自NAS-Bench-201搜索空间在图像数据集上经过对抗训练的网络的干净准确度和鲁棒准确度;其次,利用深度学习理论中的神经切线核(NTK)工具,我们建立了一个关于在干净准确度和鲁棒准确度下搜索架构的泛化理论,该理论适用于多目标对抗训练。我们坚信,我们的基准和理论见解将对NAS社区产生重大影响,通过可靠的再现性、高效的评估和理论基础,特别是在追求鲁棒架构方面。
Mar, 2024
为了保护深度神经网络免受对抗性攻击,我们提出了ARNAS来搜索用于对抗训练的准确且稳健的架构。实验结果表明,所搜索到的架构具有最强的稳健性和具有竞争力的准确性,并打破了基于NAS的架构无法在稳健性场景下很好地进行迁移的传统观念。通过分析搜索到的优秀架构,我们还得出结论,准确且稳健的神经网络架构倾向于在输入和输出附近部署不同的结构,这对于手工设计和自动设计准确且稳健的架构具有重要的实际意义。
May, 2024