ICCVAug, 2021

RANK-NOSH: 基于预测器的高效架构搜索法 —— 非均匀重复折半算法

PDF
TL;DR本文提出了一种利用 NOn-uniform Successive Halving 策略的 Predictor-based algorithms，通过提高搜索效率来减少架构训练的计算预算，并使用学习排序的方法来利用 NOn-uniform Successive Halving 的非均匀监督信号，在各个空间和数据集上实现了与前沿方法相当或更好的性能。
neural architecture searchpredictor-based algorithmsnon-uniform successive halvinglearning to ranksearch budget reduction
发现论文，激发创造
  • RankNAS: 基于成对排名的高效神经网络架构搜索

    本文提出一种称之为 RankNAS 的性能排名方法，通过配对排名是为了提高神经架构搜索（NAS）的效率，并在机器翻译和语言建模任务中进行了广泛实验，结果表明 RankNAS 可以设计出高性能的架构，同时速度比现有的 NAS 系统快几个数量级。

    Sep, 2021

  • 一种用于重复 HPO 和 NAS 问题的资源有效方法

    本文介绍了一种通过使用 Successive Halving，结合上一次搜索中获得的信息，从而减少计算成本、保持准确度和对负迁移具有鲁棒性的超参数和神经网络结构的重复搜索策略，提出了新的迁移学习基线，显著简化了现有的迁移学习方法。

    Mar, 2021

  • 神经体系结构搜索的神经预测器

    该论文提出一种比传统方法简单且更加高效的神经网络结构搜索方法，在 NASBench-101 基准测试上的表现是传统方法的 20 倍，同时还可以像基于权重共享的 ProxylessNAS 一样在 ImageNet 上获得较好的结果。

    Dec, 2019

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • 弱预测器强化 NAS

    本研究提出了一种名为 WeakNAS 的方法，使用一连串较弱的预测器，以逐步精细搜索到高性能神经网络结构子空间，与现有技术相比，仅使用更少样本就可发现全局最优结构。

    Feb, 2021

  • 神经架构搜索中性能预测器有多强大？

    本研究评估了 31 种不同的神经架构搜索性能预测器，测试了多种性能衡量方法以及它们在加速基于预测的 NAS 框架方面的有效性，结果表明有些预测器组合可以实现更好的预测能力，并提供了不同设置下最佳预测器的建议。

    Apr, 2021

  • HM-NAS: 基于分层掩膜的高效神经架构搜索

    本文介绍了一种称为 HM-NAS 的高效神经结构搜索方法，它通过引入多级结构编码方案和自动学习的层次掩码方案来实现更加灵活、优化的高级神经网络结构搜索，相比现有的基于权重共享的方法，HM-NAS 在体系结构搜索性能和模型评估准确性方面都有了明显的提高。

    Aug, 2019

  • BayesNAS: 一种用于神经结构搜索的贝叶斯方法

    本文采用经典的贝叶斯学习方法，利用分层自动相关决策（HARD）先验对架构参数进行建模以缓解一次 NAS 方法中存在的两个问题，并成功利用 CIFAR-10 数据集在 0.2 GPU 天内找到了精确的架构，同时通过提供结构稀疏性实现了分类精度极高且极度稀疏的卷积神经网络压缩。

    May, 2019

  • 带有知识蒸馏的分块监督神经网络架构搜索

    本文旨在通过将神经体系结构搜索的大搜索空间模块化为块，以确保潜在的候选架构完全训练，从而降低共享参数引起的表示移位并导致对候选项的正确评级，并且从教师模型中提取体系结构知识来指导我们的块搜索，这显着提高了 NAS 的有效性和效率。

    Nov, 2019

  • 半监督神经架构搜索

    提出了 SemiNAS，这是一种半监督神经架构搜索方法，利用没有评估的架构进行训练，通过训练一个准确性预测器来减少计算成本，同时在相同的计算成本下获得更高的准确度。

    Feb, 2020