Apr, 2019

渐进可微分架构搜索：弥合搜索和评估之间的深度鸿沟

PDF
TL;DR论文使用渐进式搜索算法，通过解决搜索深度过大和计算资源消耗等问题，实现对神经架构搜索的优化，获得了在 CIFAR10 和 ImageNet 数据集上的最先进表现。
neural architecture searchsearch space approximationregularizationproxy datasettarget dataset
发现论文，激发创造
  • 可微架构搜索：DARTS

    本文介绍了一种基于可微分的连续松弛方法来应对体系结构搜索的可扩展性挑战，该方法可在 CIFAR-10、ImageNet、Penn Treebank 和 WikiText-2 等数据集中快速搜索高性能的卷积体系结构和循环体系结构。

    Jun, 2018

  • ASAP: 体系结构搜索，降温和裁剪

    该论文提出了一种不同 iable 的搜索空间方法，可以通过逐渐修剪较差的操作，实现体系结构权重的退火，从而以连续的方式收敛到单个输出网络，实验表明该方法在视觉数据集上具有较高的准确性和较低的搜索成本。

    Apr, 2019

  • 在四个 GPU 小时内寻找强韧的神经网络结构

    通过可微分采样器实现基于梯度下降的神经结构搜索方法，旨在在 CIFAR-10 数据集上提升搜索效率并获取与最新技术水平持平的测试准确率。

    Oct, 2019

  • DrNAS: Dirichlet 神经架构搜索

    该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

    Jun, 2020

  • 通过网络转换实现高效架构搜索

    本文提出了一种基于深度神经网络的自动化设计架构的新框架，该框架使用强化学习代理作为元控制器，通过功能保持变换在当前网络的基础上，尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明，该方法在受限的计算资源下可以设计出具有高竞争力的网络，并在不使用跨层连接的条件下实现了 4.23％的测试误差率。

    Jul, 2017

  • 神经架构搜索的几何感知梯度算法

    本文研究神经架构搜索中的优化问题，提出一种基于单层经验风险最小化的几何感知框架，结合梯度下降和正则化的优化器，通过基于连续优化的松弛方法实现对离散寻找空间的搜索，成功为计算机视觉中的最新 NAS 基准提供了一种优异的算法。

    Apr, 2020

  • NetAdaptV2: 带快速超级网络训练和架构优化的高效神经网络架构搜索

    本文提出 NetAdaptV2，通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标，进而加速神经结构搜索并提高神经网络性能。

    Mar, 2021

  • 不同 iable 神经体系结构搜索的一致性、效率和灵活性改进

    本文介绍了一种基于可微分模型的神经体系结构搜索方法，提出了 EnTranNAS 模型，其中引入了 Engine-Cell 和 Transit-Cell 以减少搜索和评估之间的差距，实现更高效、灵活的搜索，并且引入了一种可微的稀疏化方法。在 CIFAR-10 和 ImageNet 数据集上进行实验，结果表明本方法具有更好的搜索一致性和更快的搜索速度。

    Jan, 2021

  • 带有集成 Gumbel-Softmax 的可微架构搜索

    本文提出一种可微分的网络架构搜索方法，使用集成 Gumbel-Softmax 估算器优化深度网络的构架和参数以实现同时保证高效和有效性的目标。实验证明，该方法可以高效地发现高性能 架构。

    May, 2019

  • 延迟感知的可微神经架构搜索

    通过在优化中添加可微延迟损失项，使搜索过程能够在准确性和延迟之间进行权衡，并通过延迟预测的核心来实现，该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20％的延迟同时保持准确性，且易于转移到其他硬件平台或其他不能微分的因素上进行优化。

    Jan, 2020