AAAINov, 2022

GENNAPE: 通向广义神经网络架构性能估计的方法

PDF
TL;DR本文提出了 GENNAPE，一种基于预训练的神经架构性能估计器，通过网络表示、对比预训练和基于模糊聚类的预测器集合相结合，旨在对完全未知的神经网络进行泛化。实验表明，GENNAPE 在 NAS-Bench-101 上预训练可以在 5 个不同的公共神经网络基准测试中实现卓越的可转移性，并能正确定位这些网络中的高性能体系结构。
neural architectureperformance predictorgennapepretrainingpredictor ensemble
发现论文，激发创造
  • 基于 NNGP 的神经结构搜索

    本文研究 Bayesian 神经网络，使用 Monte-Carlo NNGP 推断方法得到 NNGP 性能，探讨其在神经架构搜索中的应用，发现 NNGP 性能具有成本低廉、独立于训练度量且可以用于缩小大搜索空间或提高基于训练的性能度量的优点。

    Nov, 2020

  • FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

    通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

    Apr, 2024

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • EPE-NAS: 用于神经架构搜索的高效性能估计方法

    本文提出了一种高效的性能评估策略 - EPE-NAS，通过评分未训练的神经网络并与其训练后的表现建立相关性，旨在解决神经架构搜索中耗时的性能估计问题，进而能够在几秒钟内使用单个 GPU 进行搜索。此方法仅需使用简单的随机取样策略，可支持几乎所有 NAS 方法的集成。

    Feb, 2021

  • 基于图同构的性能预测器架构增强

    本文提出了一种名为 GIAug 的有效的 DNN 架构扩增方法，它可以通过基于图同构的机制，非常高效地生成单一架构上多元化的注释架构，并将其编码成适合于大多数预测模型的形式，从而非常灵活地利用各种现有的基于性能预测的 NAS 算法，并且在 CIFAR-10 和 ImageNet 基准数据集上进行的广泛实验表明，GIAug 可以显著提高大多数最先进的同行预测器的性能，并且在与现有的最先进 NAS 算法相比时，可以在 ImageNet 上节省三个数量级的计算成本，同时保持类似的性能。

    Jul, 2022

  • 引导进化神经网络架构搜索与高效性能估计

    该论文提出了一种名为 GEA 的新型引导神经结构搜索方法，该方法使用零代理估计器在每个代际初始化阶段生成和评估多个架构，然后从现有架构生成多个后代并同时驱动探索和剪枝，结果表明 GEA 在多个数据集上都取得了最先进的结果。

    Jul, 2022

  • 神经预测器的同质化架构增强

    该论文提出了一种名为 Homogeneous Architecture Augmentation for Neural Predictor（HAAP） 的算法，通过同质化编码和架构增强方法，生成足够的 DNN 架构数据集以训练神经预测器，并证明该算法在两种 NAS 基准数据集上均优于现有算法。

    Jul, 2021

  • 神经网络结构搜索的快速性能估计

    提出了一种基于训练速度测量的、无模型、高效、便宜的模型估计器，可在各种神经结构搜索空间中提高准确性并改善搜索速度或质量。

    Jun, 2020

  • 图形超网络用于神经架构搜索

    本文提出了一种新的神经网络结构搜索方法 ——Graph HyperNetworks，借助图神经网络来预测网络性能并直接生成权重，从而提高神经网络搜索效率；此外，Graph HyperNetworks 还可在任意预测环境下使用，在 CIFAR-10 和 ImageNet 等数据集上比现有手动设计网络更快且性能更好。

    Oct, 2018

  • GeNAS: 具有更好泛化性能的神经架构搜索

    本文探讨了一种新的神经架构搜索度量方式，发现损失曲面的平整度可以预测神经网络架构的泛化能力，通过在不同的搜索空间进行评估，提出的方法相对于现有的 NAS 方法表现更好，并且在数据分布偏移以及目标检测或语义分割等任务中具有稳健的泛化能力。

    May, 2023