基于扰动正则化的微分可微架构搜索稳定化
本文研究了 Differentiable Architecture Search 在新问题上失效的问题,发现了通过添加不同类型的正则化项可以改善其在架构空间中高验证损失曲率区域的性能,提出了几种简单的改进方案,实测表现更加稳健。这些观察结果适用于五种搜索空间,三个图像分类任务,以及稠密回归任务和语言建模任务。
Sep, 2019
该文提出 DARTS 算法在神经架构搜索中的优化问题,并提出一种修正的架构梯度估计方法来桥接优化差距,实验结果表明该方法有效提高了搜索稳定性和搜索空间的探索能力。
Oct, 2019
通过理论和实证分析,发现 DARTS 算法中存在的权值共享框架以及极限收敛点限制了模型最优结构的选择,导致性能严重下降,提出了两个新的正则化项解决了上述问题。
Oct, 2022
本文提出了一种基于内部权重和外部架构参数的梯度优化的不同 iable ARchiTecture Search (DARTS) 方法,该方法只依赖于内环优化所得到的解,并省略了优化路径。同时,我们提出了 iDARTS 方法来进一步减少计算要求,理论上表明该方法的架构优化预期收敛于一个稳态点。实验结果表明,我们提出的方法领先于基线方法,获得了最优的神经网络结构.
Jun, 2021
提出一个简单而有效的正则化方法,称为 Beta-Decay,对基于 DARTS 的 NAS 搜索过程进行约束,以解决两个主要问题:性能崩溃的脆弱性和搜索到的结构的普适性能力。对 Beta-Decay 正则化进行了深入的理论分析和实验验证,结果表明,该方法能够稳定搜索过程,使搜索到的网络在不同数据集之间具有更好的可迁移性。
Mar, 2022
借助 Differentiable Architecture Search,本研究提出了 sharpDARTS 搜索方式,该方式在 CIFAR-10 数据集上取得了相对错误率 20-30% 的进展,并在模型大小相似的情况下创下了目前最先进的 1.93% 的验证误差和 25.1% 的 ImageNet top-1 误差,同时,通过 Differentiable Hyperparameter Grid Search 和 HyperCuboid 搜索空间的设计和优化,本研究也证明了 sharpDARTS 更具通用性,提出了 Max-W 正则化以解决 DARTS 在新领域中的泛化问题。
Mar, 2019
本研究提出了一种基于稀疏正则化近似和高效混合稀疏训练方案的改进方法,以消除训练过程中信息绕过泄漏,从而提高不确定性极大的 Differentiable architecture search (DARTS) 的鲁棒性。
Jun, 2023
通过提出一种简单但有效的正则化方法,称为 Beta-Decay,以解决 DARTS(可微架构搜索算法)的弱稳定性和泛化能力差的问题。同时,该方法具备较强的代理鲁棒性和竞争性,能够使搜索结果更具可移植性。
Jan, 2023
本篇论文提出了一种基于自蒸馏不同的神经网络结构搜索方法,通过投票教师的方式引导折叠网络的训练,并且与现有最先进的神经网络结构搜索方法相比,实验结果表明了它的优越性。
Feb, 2023