Apr, 2021

神经架构搜索中性能预测器有多强大？

PDF
TL;DR本研究评估了 31 种不同的神经架构搜索性能预测器，测试了多种性能衡量方法以及它们在加速基于预测的 NAS 框架方面的有效性，结果表明有些预测器组合可以实现更好的预测能力，并提供了不同设置下最佳预测器的建议。
neural architecture searchperformance predictionoptimizationcorrelation-based measurespredictive power
发现论文，激发创造
  • 神经体系结构搜索的神经预测器

    该论文提出一种比传统方法简单且更加高效的神经网络结构搜索方法，在 NASBench-101 基准测试上的表现是传统方法的 20 倍，同时还可以像基于权重共享的 ProxylessNAS 一样在 ImageNet 上获得较好的结果。

    Dec, 2019

  • 利用性能预测加速神经架构搜索

    本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法，并证明该方法在视觉分类和语言建模领域中是有效的。同时，我们提出了一种早期停止方法，可用于超参数优化和元模建模，加速了模型配置的优化过程，该方法在强化学习 - based 架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

    May, 2017

  • 弱预测器强化 NAS

    本研究提出了一种名为 WeakNAS 的方法，使用一连串较弱的预测器，以逐步精细搜索到高性能神经网络结构子空间，与现有技术相比，仅使用更少样本就可发现全局最优结构。

    Feb, 2021

  • 多预测：用于高效神经架构搜索的少样本预测器

    本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法，以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应，从而在提高端到端样本效率方面取得了显著的效果。

    Jun, 2023

  • 神经图特征的惊人强大性能预测

    通过一种简便可行的图形特征计算方法，GRAF (神经图形特征) 在预测网络性能的同时超越了零成本代理和其他常见编码方法，成为性能预测的大多数现有预测器中成本较低且表现最好的一种。

    Apr, 2024

  • 神经网络结构搜索的快速性能估计

    提出了一种基于训练速度测量的、无模型、高效、便宜的模型估计器，可在各种神经结构搜索空间中提高准确性并改善搜索速度或质量。

    Jun, 2020

  • FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

    通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

    Apr, 2024

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • 动态低保真度专家合成：缓解 NAS 的 " 冷启动

    本研究提出了一个新颖的动态集成预测器框架，包括两个步骤，旨在解决基于预测器的神经架构搜索面临的 “冷启动” 问题，它可以从多种低保真信息中提取有益的知识，通过加权求和的方式融合低给定的架构性能预测信息来训练整个预测器。

    Feb, 2023

  • ReNAS：神经架构搜索的相对论评估

    该研究论文提出了一种名为 ReNAS 的相对性神经结构性能预测方法，可用于神经结构搜索，通过对数据集的有效采样，实验结果表明该方法相较于现有方法在 NAS-Bench-101 和 NAS-Bench-201 数据集上表现更优。

    Sep, 2019