AAAINov, 2021

神经架构搜索中的单次搜索空间污染

PDF
TL;DR本文研究了神经架构搜索算法 Efficient NAS 对数据毒化攻击的鲁棒性，通过注入无效操作到搜索空间中，我们展示了一次性搜索空间毒化方法如何利用 ENAS 控制器中的设计缺陷，降低分类任务中预测性能，只需向搜索空间注入两个毒化操作即可使得子网络在 CIFAR-10 数据集上的预测错误率增加高达 90%。
neural architecture searchefficient nasdata poisoning attacksdesign flawscifar-10 dataset
发现论文，激发创造
  • 神经结构搜索中的搜索空间污染

    本文介绍如何使用神经结构搜索来生成深度学习中的最优结构，并通过实验发现数据注入攻击会导致算法效果下降，进而提出提高算法鲁棒性的挑战。

    Jun, 2021

  • 通过参数共享实现高效神经架构搜索

    ENAS 提出了高效神经架构搜索方法，使用控制器在大型计算图中发现神经网络架构，以优化子图为目标进行训练，利用共享子模型参数，使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍，设计出实现最新技术水平的新型结构。

    Feb, 2018

  • 通过多样性引导的搜索空间缩减进行一次性神经集成架构搜索

    通过提出一种一次性神经集成架构搜索解决方案，该方法使用多样的模型来提高模型的泛化能力和性能，并在 ImageNet 数据集上进行了测试，并与 MobileNetV3 和 EfficientNet 家族进行了比较，证明其在性能和泛化能力方面优于其他算法。

    Apr, 2021

  • BayesNAS: 一种用于神经结构搜索的贝叶斯方法

    本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。

    May, 2019

  • 鲁棒神经架构搜索

    本研究提出一种名为 Robust Neural Architecture Search 的新型神经架构搜索方法，使用正则化项来平衡准确性和鲁棒性，并使用噪声样本而非对抗样本来搜索架构。实验证明，该方法在图像分类和对抗攻击方面均达到了最先进的性能，并取得了准确性和鲁棒性之间的良好平衡。

    Apr, 2023

  • 辛勤工作并不总是有所回报：对神经架构搜索的毒化攻击

    通过对神经结构搜索的数据集分布转移进行鲁棒性研究，本文展示了数据污染攻击的可行性，并发现对抗性样本可以有效降低生成优化神经结构的算法的准确性。

    May, 2024

  • 高效渐进式神经结构搜索

    该研究提出了一种名为 EPNAS（高效渐进的神经结构搜索）的神经结构搜索方法，它通过一种新的渐进搜索策略和基于 REINFORCE 的性能预测有效地处理大型搜索空间。EPNAS 被设计成能够在并行系统（如 GPU/TPU 集群）上并行搜索目标网络。该方法还可以推广到具有多个资源限制的体系结构搜索，这对于在移动设备和云平台等广泛平台上进行部署非常重要。在使用 CIFAR10 和 ImageNet 进行图像识别任务时，该方法在架构搜索速度和识别准确性方面均优于先进的网络结构和高效的 NAS 算法。

    Jul, 2019

  • SNAS：随机神经结构搜索

    提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

    Dec, 2018

  • 理解神经结构搜索技术

    研究自动化方法来生成最新的神经网络架构而无需人类专家，并探究解释可解性和记忆缓冲作为有效方法的影响。

    Mar, 2019

  • NPENAS: 神经预测引导的神经结构搜索

    本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.

    Mar, 2020