Jan, 2021

不同 iable 神经体系结构搜索的一致性、效率和灵活性改进

PDF
TL;DR本文介绍了一种基于可微分模型的神经体系结构搜索方法，提出了 EnTranNAS 模型，其中引入了 Engine-Cell 和 Transit-Cell 以减少搜索和评估之间的差距，实现更高效、灵活的搜索，并且引入了一种可微的稀疏化方法。在 CIFAR-10 和 ImageNet 数据集上进行实验，结果表明本方法具有更好的搜索一致性和更快的搜索速度。
differentiable neural architecture searchentrannasengine-cellstransit-cellssparsification
发现论文，激发创造
  • CARS：高效神经结构搜索的不间断进化

    本论文提出一种高效的连续演化方法用于搜索神经网络，该方法在优化神经网络的同时，使用优化后的神经网络在下一次的演化中，大大地加速了网络生成的效率。实验表明，该方法产生的神经网络在 mobile 设置下，参数数量在 3.7M 到 5.1M 之间不等，在 ImageNet 数据集上的表现超过了目前已有的先进方法。

    Sep, 2019

  • 基于元学习内核的高效可微分神经架构搜索

    该研究提出了一种基于元卷积核的高效神经架构搜索策略，通过直接编码超级网络来缩小多个卷积核选项，从而在减少中间特征存储内存和资源预算的同时，实现更精细的搜索。该方法在 ImageNet 基准数据集上以 357M FLOPs 为限制可达到 77.0% 的 top-1 准确率，超过了 EfficientNet 和 MobileNetV3，并且与最先进的 NAS 方法相比，在相同的计算预算下速度还快了三个数量级。

    Dec, 2019

  • 通过参数共享实现高效神经架构搜索

    ENAS 提出了高效神经架构搜索方法，使用控制器在大型计算图中发现神经网络架构，以优化子图为目标进行训练，利用共享子模型参数，使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍，设计出实现最新技术水平的新型结构。

    Feb, 2018

  • TS-ENAS: 基于细胞的网络架构搜索的两阶段演化

    我们提出了一种基于叠加单元的神经网络结构搜索的两阶段进化方法（TS-ENAS），包括基于堆叠单元的一阶段搜索和对这些单元进行调整的二阶段。在算法中，我们设计了一种新的基于单元的搜索空间和一种有效的两阶段编码方法来表示单元和神经网络结构。此外，我们设计了一种基于单元的权重继承策略来初始化网络的权重，这显著减少了算法的运行时间。我们在四个图像分类数据集 Fashion-MNIST、CIFAR10、CIFAR100 和 ImageNet 上对所提出的方法进行了广泛的测试和比较，并与包括手工设计网络和 NAS 网络在内的 22 个最新算法进行了比较。实验结果表明，TS-ENAS 能更有效地找到性能相当的神经网络结构。

    Oct, 2023

  • 稀疏超网络下的神经架构搜索

    本论文旨在将神经架构搜索的问题从单路径和多路径搜索扩大到自动混合路径搜索。我们提出了一种新的连续架构表示方法，利用稀疏超网络和稀疏性约束来实现自动混合路径搜索。同时，我们采用了分层加速的近端梯度算法来优化所提出的稀疏超网络，并在卷积神经网络和循环神经网络搜索中进行了广泛的实验，证明了该方法能够搜索到紧凑、通用和强大的神经结构。

    Jul, 2020

  • 离散化差异的魔鬼：用单阶段搜索协议来强化可微 NAS

    神经架构搜索被广泛应用于各种计算机视觉任务，其中不可微分神经架构搜索是其中一个有前景的子领域。然而，基于梯度的方法受到离散化误差的影响，从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险，并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性，我们引入了一种新的单阶段搜索协议，不依赖于解码连续架构。我们的结果表明，这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能，并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天，由于权重重用，获得了计算效率高的架构。此外，我们提出了一种新的数据集分割过程，大大提高了结果并防止了 DARTS 中架构退化。

    May, 2024

  • 可微架构搜索：DARTS

    本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

    Jun, 2018

  • 渐进可微分架构搜索：弥合搜索和评估之间的深度鸿沟

    论文使用渐进式搜索算法，通过解决搜索深度过大和计算资源消耗等问题，实现对神经架构搜索的优化，获得了在 CIFAR10 和 ImageNet 数据集上的最先进表现。

    Apr, 2019

  • DrNAS: Dirichlet 神经架构搜索

    该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

    Jun, 2020

  • 可微分 NAS 中的架构选择再思考

    本文介绍了一种替代基于权重参数选择最大操作的 NAS 体系结构选择方法，并通过实验证明这种方法可以提取出更好的架构，并且可以纠正 DARTS 中部分失败模式。

    Aug, 2021