ICMLOct, 2019

使用调整梯度估计稳定 DARTS 的架构参数

PDF
TL;DR该文提出 DARTS 算法在神经架构搜索中的优化问题，并提出一种修正的架构梯度估计方法来桥接优化差距，实验结果表明该方法有效提高了搜索稳定性和搜索空间的探索能力。
neural architecture searchdartsoptimization gaparchitectural gradientssearch stability
发现论文，激发创造
  • 基于扰动正则化的微分可微架构搜索稳定化

    提出一种基于扰动的正则化方法 SmoothDARTS，通过随机平滑或对抗攻击稳定 DARTS-based 方法，能够在四个数据集上提高模型的稳定性和性能，并通过数学证明表明该方法能隐式地规范化验证损失的 Hessian 范数以实现更平滑的损失和更好的性能。

    Feb, 2020

  • 可微分架构搜索的理解和稳健性提高

    本文研究了 Differentiable Architecture Search 在新问题上失效的问题，发现了通过添加不同类型的正则化项可以改善其在架构空间中高验证损失曲率区域的性能，提出了几种简单的改进方案，实测表现更加稳健。这些观察结果适用于五种搜索空间，三个图像分类任务，以及稠密回归任务和语言建模任务。

    Sep, 2019

  • 图像分类中的 DARTS 微调

    我们提出了一种使用固定操作进行微调的方法，改进了现有方法并在多个数据集上取得了更好的分类准确性，同时在计算资源上取得了一个很好的折衷。

    Jun, 2020

  • iDARTS: 随机隐式梯度可微架构搜索

    本文提出了一种基于内部权重和外部架构参数的梯度优化的不同 iable ARchiTecture Search (DARTS) 方法，该方法只依赖于内环优化所得到的解，并省略了优化路径。同时，我们提出了 iDARTS 方法来进一步减少计算要求，理论上表明该方法的架构优化预期收敛于一个稳态点。实验结果表明，我们提出的方法领先于基线方法，获得了最优的神经网络结构.

    Jun, 2021

  • Progressive DARTS: 在野外框架中弥合 NAS 的优化差距

    本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题，并在 CIFAR10 数据集以及几个目标问题（包括 ImageNet 分类，COCO 检测和三个 ReID benchmarks）上实现了更好的性能。

    Dec, 2019

  • sharpDARTS: 更快更准确的可微架构搜索

    借助 Differentiable Architecture Search，本研究提出了 sharpDARTS 搜索方式，该方式在 CIFAR-10 数据集上取得了相对错误率 20-30% 的进展，并在模型大小相似的情况下创下了目前最先进的 1.93% 的验证误差和 25.1% 的 ImageNet top-1 误差，同时，通过 Differentiable Hyperparameter Grid Search 和 HyperCuboid 搜索空间的设计和优化，本研究也证明了 sharpDARTS 更具通用性，提出了 Max-W 正则化以解决 DARTS 在新领域中的泛化问题。

    Mar, 2019

  • 让可微架构搜索更少局部化

    本研究针对 DARTS 的性能崩溃问题，提出采用更全局的优化方案，以更好地探索神经结构搜索空间，从而发现测试性能更佳、参数更少的神经网络架构。

    Apr, 2021

  • 用显式稀疏规则消除信息绕过泄漏来增强 DARTS 的鲁棒性

    本研究提出了一种基于稀疏正则化近似和高效混合稀疏训练方案的改进方法，以消除训练过程中信息绕过泄漏，从而提高不确定性极大的 Differentiable architecture search (DARTS) 的鲁棒性。

    Jun, 2023

  • $Λ$-DARTS：通过对单元进行操作选择的协调来缓解性能崩溃

    通过理论和实证分析，发现 DARTS 算法中存在的权值共享框架以及极限收敛点限制了模型最优结构的选择，导致性能严重下降，提出了两个新的正则化项解决了上述问题。

    Oct, 2022

  • IS-DARTS：通过精确测量候选重要性稳定 DARTS

    对现有的神经网络架构搜索方法进行了研究，发现 DARTS 方法在寻找优秀子网络方面效率高且简单，但存在性能崩溃的问题，导致架构充斥着无需参数的操作，提出了 IS-DARTS 方法来解决这些问题，并通过理论和实验分析揭示了问题的根本原因和解决途径，验证了 IS-DARTS 的有效性。

    Dec, 2023