ICLRDec, 2018

SNAS：随机神经结构搜索

PDF
TL;DR提出了随机神经架构搜索 (SNAS)，作为一种经济高效的神经架构搜索方案，它在同一次反向传播中训练神经操作参数和架构分布参数，同时保持 NAS 管道的完整性和可区分性。通过对单元搜索空间的联合分布的参数进行优化来重构 NAS，提出一种全新的搜索梯度，优化效果比基于强化学习的 NAS 更高，同时加入局部可分解奖励，以强制实施资源有效约束，最终在 CIFAR-10 数据集上得到了业界领先的准确性。
neural architecture searchstochastic neural architecture searchback-propagationgradient informationresource-efficient constraint
发现论文，激发创造
  • DSNAS: 无需参数微调的直接神经结构搜索

    通过提出基于任务的端到端的 NAS 方法定义，我们提出了 DSNAS，一个高效的可微分 NAS 框架，不仅可以同时优化架构和参数，而且还可以减少模型训练时间，并在 ImageNet 数据集上达到了与现有方法同等的准确率。

    Feb, 2020

  • 自适应随机自然梯度方法用于一次性神经架构搜索

    该研究提出了一种基于优化框架的神经架构搜索方法，将连接权重和神经架构的联合优化转换为可微分优化，使用随机松弛技术，并利用梯度进行权重和架构的同时优化，从而在图像分类和图像修复任务中实现了近乎领先的性能表现。

    May, 2019

  • 增强式进化神经架构搜索

    提出了一种名为 RE-NAS 的神经架构搜索方法，结合了进化算法和强化突变控制，成功地在 CIFAR-10 上发现了可用于图像分类的强大架构 RENASNet，并在移动 ImageNet 上取得了最新的最高准确率。

    Aug, 2018

  • ISTA-NAS：通过稀疏编码实现高效、一致的神经架构搜索

    通过稀疏编码的方法，进行可微的搜索及网络结构恢复，以满足稀疏性约束，提高了神经结构搜索的效率和性能。

    Oct, 2020

  • DrNAS: Dirichlet 神经架构搜索

    该研究论文提出了一种新的可微分架构搜索方法，通过分布学习问题来加以实现，并将连续松弛的架构混合权重视为随机变量，以 Dirichlet 分布进行建模，通过路径导数优化 Dirichlet 参数，并采用渐进学习方案消除了不同 iable NAS 的大内存消耗，在 CIFAR-10、ImageNet 和 NAS-Bench-201 等几个数据集上取得了最先进的结果。

    Jun, 2020

  • 后验引导的神经网络结构搜索

    本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

    Jun, 2019

  • BayesNAS: 一种用于神经结构搜索的贝叶斯方法

    本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。

    May, 2019

  • 神经网络结构生成器优化

    本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题，同时提出了一种新的、层次化和基于图形的搜索空间，实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略，该方法有效地扩展了有效架构的范围，促进了多目标学习方法的发展， 并在六个基准数据集上进行了验证，在生成轻量级且高度竞争的模型方面表现出了有效性。

    Apr, 2020

  • AdvantageNAS: 基于信用分配的高效神经体系结构搜索

    本文介绍了一种基于梯度下降的神经结构搜索方法，AdvantageNAS，它通过引入梯度传递中的信用分配来提高搜索效率，减少搜索迭代次数，进一步减少 NAS 的时间复杂度，实验结果表明，在给定时间预算下，AdvantageNAS 可以发现性能更高的神经网络结构。

    Dec, 2020

  • 卷积网络的神经结构搜索简介

    本文介绍了神经架构搜索的基本概念以及搜索空间、算法和评估技术的主要进展。

    May, 2020