CVPRMay, 2024

离散化差异的魔鬼:用单阶段搜索协议来强化可微 NAS

TL;DR神经架构搜索被广泛应用于各种计算机视觉任务,其中不可微分神经架构搜索是其中一个有前景的子领域。然而,基于梯度的方法受到离散化误差的影响,从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险,并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性,我们引入了一种新的单阶段搜索协议,不依赖于解码连续架构。我们的结果表明,这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能,并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天,由于权重重用,获得了计算效率高的架构。此外,我们提出了一种新的数据集分割过程,大大提高了结果并防止了 DARTS 中架构退化。