ICLRJun, 2020

DrNAS: Dirichlet 神经架构搜索

PDF
TL;DR该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。
differentiable architecture searchdistribution learningdirichlet distributionstochasticityprogressive learning
发现论文，激发创造
  • 神经架构搜索的几何感知梯度算法

    本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

    Apr, 2020

  • 离散化差异的魔鬼：用单阶段搜索协议来强化可微 NAS

    神经架构搜索被广泛应用于各种计算机视觉任务，其中不可微分神经架构搜索是其中一个有前景的子领域。然而，基于梯度的方法受到离散化误差的影响，从而严重损害了获取最终架构的过程。我们的工作首次研究了离散化误差的风险，并展示了如何影响非规则化超网络。为了增强 DNAS 框架的鲁棒性，我们引入了一种新的单阶段搜索协议，不依赖于解码连续架构。我们的结果表明，这种方法在 Cityscapes 验证数据集的搜索阶段达到了 75.3% 的性能，并且在包含短连接的非稠密搜索空间上比 DCNAS 的最佳网络性能高 1.1%。整个训练过程只需 5.5 个 GPU 天，由于权重重用，获得了计算效率高的架构。此外，我们提出了一种新的数据集分割过程，大大提高了结果并防止了 DARTS 中架构退化。

    May, 2024

  • 可微架构搜索：DARTS

    本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

    Jun, 2018

  • SNAS：随机神经结构搜索

    提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。

    Dec, 2018

  • 多条件图传播的神经架构搜索

    使用基于图扩散的神经网络架构搜索方法，通过离散条件图扩散过程生成高性能神经网络架构，并应用多条件无分类器引导方法来共同施加高准确性等约束。

    Mar, 2024

  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • 在四个 GPU 小时内寻找强韧的神经网络结构

    通过可微分采样器实现基于梯度下降的神经结构搜索方法，旨在在 CIFAR-10 数据集上提升搜索效率并获取与最新技术水平持平的测试准确率。

    Oct, 2019

  • 多项式分布学习用于有效神经架构搜索

    本文提出了一种基于多项式分布学习的高效神经网络结构搜索方法，通过采样两个节点之间的操作来构建一个联合多项式分布，利用出现概率最高的操作构建出最优网络结构，实验证明该方法性能优异。

    May, 2019

  • GOLD-NAS: 渐进式，单层级，可微分的

    本文提出了 Gradual One-Level Differentiable Neural Architecture Search (GOLD-NAS) 算法，采用可变资源约束逐步删除超级网络中弱操作器的方法，在标准的图像分类基准测试中发现了一系列 Pareto 最优体系结构。

    Jul, 2020

  • DDNAS: 文本分类离散可微神经构架搜索

    本文提出了离散可微分神经架构搜索新方法（DDNAS）进行文本表示和分类的优化，并采用互信息最大化的离散化层来对文本表示中的潜在分层进行建模。实验证明，DDNAS 可显著优于现有的最先进的 NAS 方法。

    Jul, 2023