Jan, 2022

DropNAS: 分组操作 Dropout 用于可微分架构搜索

PDF
TL;DR本文研究了 DARTS 算法在神经结构搜索中存在的共适应问题和 Matthew 效应，并提出了一种名为 DropNAS 的新方法来解决这些问题，在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上均获得了良好的表现。
neural architecture searchdartsco-adaption problemmatthew effectdropnas
发现论文，激发创造
  • 让可微架构搜索更少局部化

    本研究针对 DARTS 的性能崩溃问题，提出采用更全局的优化方案，以更好地探索神经结构搜索空间，从而发现测试性能更佳、参数更少的神经网络架构。

    Apr, 2021

  • Progressive DARTS: 在野外框架中弥合 NAS 的优化差距

    本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题，并在 CIFAR10 数据集以及几个目标问题（包括 ImageNet 分类，COCO 检测和三个 ReID benchmarks）上实现了更好的性能。

    Dec, 2019

  • 可微分 NAS 中的架构选择再思考

    本文介绍了一种替代基于权重参数选择最大操作的 NAS 体系结构选择方法，并通过实验证明这种方法可以提取出更好的架构，并且可以纠正 DARTS 中部分失败模式。

    Aug, 2021

  • 通过近端迭代实现高效神经网络架构搜索

    本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法（称为 NASP），其通过将搜索过程重新构成为一个优化问题，并在前向和反向传播期间仅允许更新一个操作的约束条件下，以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。

    May, 2019

  • 离散化差异的魔鬼：用单阶段搜索协议来强化可微 NAS

    神经架构搜索被广泛应用于各种计算机视觉任务，其中不可微分神经架构搜索是其中一个有前景的子领域。然而，基于梯度的方法受到离散化误差的影响，从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险，并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性，我们引入了一种新的单阶段搜索协议，不依赖于解码连续架构。我们的结果表明，这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能，并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天，由于权重重用，获得了计算效率高的架构。此外，我们提出了一种新的数据集分割过程，大大提高了结果并防止了 DARTS 中架构退化。

    May, 2024

  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • $Λ$-DARTS：通过对单元进行操作选择的协调来缓解性能崩溃

    通过理论和实证分析，发现 DARTS 算法中存在的权值共享框架以及极限收敛点限制了模型最优结构的选择，导致性能严重下降，提出了两个新的正则化项解决了上述问题。

    Oct, 2022

  • $eta$-DARTS: 不同可微结构搜索的 Beta 衰变正则化

    提出一个简单而有效的正则化方法，称为 Beta-Decay，对基于 DARTS 的 NAS 搜索过程进行约束，以解决两个主要问题：性能崩溃的脆弱性和搜索到的结构的普适性能力。对 Beta-Decay 正则化进行了深入的理论分析和实验验证，结果表明，该方法能够稳定搜索过程，使搜索到的网络在不同数据集之间具有更好的可迁移性。

    Mar, 2022

  • 操作级渐进可微架构搜索

    本文介绍了一种名为 OPP-DARTS 的操作级渐进可微分神经结构搜索算法，通过逐步增加候选操作来有效地避免跳跃连接聚合，并同时探索更好的架构。实验结果表明，我们的方法在 CIFAR-10 上的性能优于标准 DARTS，迁移性能也超越了标准 DARTS。此外，我们进一步展示了我们的方法在三个简单搜索空间上的鲁棒性优于标准 DARTS。

    Feb, 2023

  • DrNAS: Dirichlet 神经架构搜索

    该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

    Jun, 2020