Feb, 2023

操作级渐进可微架构搜索

PDF
TL;DR本文介绍了一种名为 OPP-DARTS 的操作级渐进可微分神经结构搜索算法，通过逐步增加候选操作来有效地避免跳跃连接聚合，并同时探索更好的架构。实验结果表明，我们的方法在 CIFAR-10 上的性能优于标准 DARTS，迁移性能也超越了标准 DARTS。此外，我们进一步展示了我们的方法在三个简单搜索空间上的鲁棒性优于标准 DARTS。
neural architecture searchdartsskip connectionsprogressive searchopp-darts
发现论文，激发创造
  • DARTS+：具有提前停止的改进可微架构搜索

    本文提出了一种名为 DARTS + 的算法，通过设置一个明确的早停策略来避免 Differentiable Architecture Search (DARTS) 在优化时遇到过拟合问题，并将其应用在基准数据集上取得了较好的结果。

    Sep, 2019

  • Progressive DARTS: 在野外框架中弥合 NAS 的优化差距

    本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题，并在 CIFAR10 数据集以及几个目标问题（包括 ImageNet 分类，COCO 检测和三个 ReID benchmarks）上实现了更好的性能。

    Dec, 2019

  • 让可微架构搜索更少局部化

    本研究针对 DARTS 的性能崩溃问题，提出采用更全局的优化方案，以更好地探索神经结构搜索空间，从而发现测试性能更佳、参数更少的神经网络架构。

    Apr, 2021

  • 基于理论的路径正则化差分网络结构搜索

    通过对 DARTS 进行理论分析，我们证明了带有更多跳跃连接的体系结构可以比其他候选体系结构更快地收敛，从而被 DARTS 选中。基于这个结果，我们提出了一种理论启发式的路径正则化 DARTS（path-regularized DARTS），其中包括两个关键模块：为避免操作间的不公平竞争而引入的差分分组稀疏二进制门，以及用于激发搜索探索的路径 - 深度正则化，旨在搜索深层结构，从而验证了其优势。

    Jun, 2020

  • Single-DARTS: 实现稳定体系结构搜索

    本文提出 Single-DARTS，通过使用单级优化替换双级优化，显著减轻了性能坍塌，提高了体系结构搜索的稳定性，并在主流搜索空间上实现了最先进的性能。

    Aug, 2021

  • sharpDARTS: 更快更准确的可微架构搜索

    借助 Differentiable Architecture Search，本研究提出了 sharpDARTS 搜索方式，该方式在 CIFAR-10 数据集上取得了相对错误率 20-30% 的进展，并在模型大小相似的情况下创下了目前最先进的 1.93% 的验证误差和 25.1% 的 ImageNet top-1 误差，同时，通过 Differentiable Hyperparameter Grid Search 和 HyperCuboid 搜索空间的设计和优化，本研究也证明了 sharpDARTS 更具通用性，提出了 Max-W 正则化以解决 DARTS 在新领域中的泛化问题。

    Mar, 2019

  • 加强微分可搜索架构的鲁棒性、效率和多样性

    本文提出自适应通道分配的可微分架构搜索方法 (ACA-DARTS)，通过从运算空间中删除跳跃连接的方法，自动重新填充评估阶段的跳跃连接，解决由缺乏跳跃连接引起的性能降级问题，并在整个 ImageNet 数据集上直接搜索，实验表明 ACA-DARTS 可以提高搜索稳定性并大大加速 DARTS 十倍以上，同时获得更高的准确性。

    Apr, 2022

  • 噪声可微架构搜索

    本文提出了一种名为 NoisyDARTS 的神经网络结构搜索方法，通过在训练过程中注入随机噪声，阻碍在跳跃连接上的梯度传播，以防止神经网络因残差结构而过于追求信息流动的速度而导致的性能下降问题，并证明注入噪声可以平滑损失面貌，从而使优化更为容易，在各种搜索空间、数据集和任务中实现了最先进的结果。

    May, 2020

  • $Λ$-DARTS：通过对单元进行操作选择的协调来缓解性能崩溃

    通过理论和实证分析，发现 DARTS 算法中存在的权值共享框架以及极限收敛点限制了模型最优结构的选择，导致性能严重下降，提出了两个新的正则化项解决了上述问题。

    Oct, 2022

  • 通过算子聚类进行层次化神经结构搜索

    通过发现算子相关性和复杂度差异对 DARTS 的遗传性问题进行了解决，提出了一种新的分级搜索算法，该算法用于不同的搜索空间中都能找到最佳的性能架构。

    Sep, 2019