可微分 NAS 中的架构选择再思考
本文提出了一种基于纵向梯度下降的可微分神经结构搜索方法(称为 NASP),其通过将搜索过程重新构成为一个优化问题,并在前向和反向传播期间仅允许更新一个操作的约束条件下,以 10 倍于 DARTS 方法的计算时间加速获得高性能的架构。
May, 2019
神经架构搜索被广泛应用于各种计算机视觉任务,其中不可微分神经架构搜索是其中一个有前景的子领域。然而,基于梯度的方法受到离散化误差的影响,从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险,并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性,我们引入了一种新的单阶段搜索协议,不依赖于解码连续架构。我们的结果表明,这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能,并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天,由于权重重用,获得了计算效率高的架构。此外,我们提出了一种新的数据集分割过程,大大提高了结果并防止了 DARTS 中架构退化。
May, 2024
本篇论文提出了一种基于自蒸馏不同的神经网络结构搜索方法,通过投票教师的方式引导折叠网络的训练,并且与现有最先进的神经网络结构搜索方法相比,实验结果表明了它的优越性。
Feb, 2023
本篇论文提出了一种名为 P-DARTS 的算法来解决神经网络架构搜索中的 transfer learning 问题,并在 CIFAR10 数据集以及几个目标问题(包括 ImageNet 分类,COCO 检测和三个 ReID benchmarks)上实现了更好的性能。
Dec, 2019
在本文中,我们提出了用于比较 NAS 方法的基准测试,并对常用的 DARTS search space 进行了进一步的实验。我们发现,手工设计的宏观结构比搜索到的微观结构更重要,并且深度间隔是一个真实的现象,最后我们提出了最佳实践以帮助缓解当前的 NAS 缺陷。
Dec, 2019
本文提出了一种基于 Shapley 值的方法(Shapley-NAS)来评估操作贡献,以选择对任务贡献显著的操作,此方法在各种数据集和搜索空间上的实验表明,它的效果优于当前先进技术的方法,且搜索成本并不高。
Jun, 2022
通过提出基于任务的端到端的 NAS 方法定义,我们提出了 DSNAS,一个高效的可微分 NAS 框架,不仅可以同时优化架构和参数,而且还可以减少模型训练时间,并在 ImageNet 数据集上达到了与现有方法同等的准确率。
Feb, 2020
该论文综述了 Differentiable Neural Architecture Search (DNAS) 领域的最新进展,提出了一种基于挑战的分类方法,并探讨了 DNAS 对全局神经架构搜索领域的影响和未来研究方向。
Apr, 2023
本文研究神经架构搜索中的优化问题,提出一种基于单层经验风险最小化的几何感知框架,结合梯度下降和正则化的优化器,通过基于连续优化的松弛方法实现对离散寻找空间的搜索,成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。
Apr, 2020