Single-DARTS: 实现稳定体系结构搜索
本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题，并在 CIFAR10 数据集以及几个目标问题（包括 ImageNet 分类，COCO 检测和三个 ReID benchmarks）上实现了更好的性能。
Dec, 2019
本文提出了一种基于内部权重和外部架构参数的梯度优化的不同 iable ARchiTecture Search (DARTS) 方法，该方法只依赖于内环优化所得到的解，并省略了优化路径。同时，我们提出了 iDARTS 方法来进一步减少计算要求，理论上表明该方法的架构优化预期收敛于一个稳态点。实验结果表明，我们提出的方法领先于基线方法，获得了最优的神经网络结构.
Jun, 2021
通过理论和实证分析，发现 DARTS 算法中存在的权值共享框架以及极限收敛点限制了模型最优结构的选择，导致性能严重下降，提出了两个新的正则化项解决了上述问题。
Oct, 2022
借助 Differentiable Architecture Search，本研究提出了 sharpDARTS 搜索方式，该方式在 CIFAR-10 数据集上取得了相对错误率 20-30% 的进展，并在模型大小相似的情况下创下了目前最先进的 1.93% 的验证误差和 25.1% 的 ImageNet top-1 误差，同时，通过 Differentiable Hyperparameter Grid Search 和 HyperCuboid 搜索空间的设计和优化，本研究也证明了 sharpDARTS 更具通用性，提出了 Max-W 正则化以解决 DARTS 在新领域中的泛化问题。
Mar, 2019
本文研究了 Differentiable Architecture Search 在新问题上失效的问题，发现了通过添加不同类型的正则化项可以改善其在架构空间中高验证损失曲率区域的性能，提出了几种简单的改进方案，实测表现更加稳健。这些观察结果适用于五种搜索空间，三个图像分类任务，以及稠密回归任务和语言建模任务。
Sep, 2019
本文介绍了一种名为 OPP-DARTS 的操作级渐进可微分神经结构搜索算法，通过逐步增加候选操作来有效地避免跳跃连接聚合，并同时探索更好的架构。实验结果表明，我们的方法在 CIFAR-10 上的性能优于标准 DARTS，迁移性能也超越了标准 DARTS。此外，我们进一步展示了我们的方法在三个简单搜索空间上的鲁棒性优于标准 DARTS。
Feb, 2023
本文提出了一种名为 DARTS + 的算法，通过设置一个明确的早停策略来避免 Differentiable Architecture Search (DARTS) 在优化时遇到过拟合问题，并将其应用在基准数据集上取得了较好的结果。
Sep, 2019
本文提出了一种名为 NoisyDARTS 的神经网络结构搜索方法，通过在训练过程中注入随机噪声，阻碍在跳跃连接上的梯度传播，以防止神经网络因残差结构而过于追求信息流动的速度而导致的性能下降问题，并证明注入噪声可以平滑损失面貌，从而使优化更为容易，在各种搜索空间、数据集和任务中实现了最先进的结果。
May, 2020