本研究提出了一种基于稀疏正则化近似和高效混合稀疏训练方案的改进方法，以消除训练过程中信息绕过泄漏，从而提高不确定性极大的 Differentiable architecture search (DARTS) 的鲁棒性。

Jun, 2023

本篇论文提出了一种基于自蒸馏不同的神经网络结构搜索方法，通过投票教师的方式引导折叠网络的训练，并且与现有最先进的神经网络结构搜索方法相比，实验结果表明了它的优越性。

Feb, 2023

本文提出了一种名为 NoisyDARTS 的神经网络结构搜索方法，通过在训练过程中注入随机噪声，阻碍在跳跃连接上的梯度传播，以防止神经网络因残差结构而过于追求信息流动的速度而导致的性能下降问题，并证明注入噪声可以平滑损失面貌，从而使优化更为容易，在各种搜索空间、数据集和任务中实现了最先进的结果。

May, 2020

本研究针对 DARTS 的性能崩溃问题，提出采用更全局的优化方案，以更好地探索神经结构搜索空间，从而发现测试性能更佳、参数更少的神经网络架构。

Apr, 2021

借助 Differentiable Architecture Search，本研究提出了 sharpDARTS 搜索方式，该方式在 CIFAR-10 数据集上取得了相对错误率 20-30% 的进展，并在模型大小相似的情况下创下了目前最先进的 1.93% 的验证误差和 25.1% 的 ImageNet top-1 误差，同时，通过 Differentiable Hyperparameter Grid Search 和 HyperCuboid 搜索空间的设计和优化，本研究也证明了 sharpDARTS 更具通用性，提出了 Max-W 正则化以解决 DARTS 在新领域中的泛化问题。

Mar, 2019

提出一种基于扰动的正则化方法 SmoothDARTS，通过随机平滑或对抗攻击稳定 DARTS-based 方法，能够在四个数据集上提高模型的稳定性和性能，并通过数学证明表明该方法能隐式地规范化验证损失的 Hessian 范数以实现更平滑的损失和更好的性能。

Feb, 2020

通过理论和实证分析，发现 DARTS 算法中存在的权值共享框架以及极限收敛点限制了模型最优结构的选择，导致性能严重下降，提出了两个新的正则化项解决了上述问题。

Oct, 2022

本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法（称为 NASP），其通过将搜索过程重新构成为一个优化问题，并在前向和反向传播期间仅允许更新一个操作的约束条件下，以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。

May, 2019

本文提出了一种基于内部权重和外部架构参数的梯度优化的不同 iable ARchiTecture Search (DARTS) 方法，该方法只依赖于内环优化所得到的解，并省略了优化路径。同时，我们提出了 iDARTS 方法来进一步减少计算要求，理论上表明该方法的架构优化预期收敛于一个稳态点。实验结果表明，我们提出的方法领先于基线方法，获得了最优的神经网络结构.

Jun, 2021

本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

Jun, 2018