Jul, 2022

基于图同构的性能预测器架构增强

PDF
TL;DR本文提出了一种名为 GIAug 的有效的 DNN 架构扩增方法，它可以通过基于图同构的机制，非常高效地生成单一架构上多元化的注释架构，并将其编码成适合于大多数预测模型的形式，从而非常灵活地利用各种现有的基于性能预测的 NAS 算法，并且在 CIFAR-10 和 ImageNet 基准数据集上进行的广泛实验表明，GIAug 可以显著提高大多数最先进的同行预测器的性能，并且在与现有的最先进 NAS 算法相比时，可以在 ImageNet 上节省三个数量级的计算成本，同时保持类似的性能。
neural architecture searchdnnsperformance predictorsgiaugcomputation cost
发现论文，激发创造
  • FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

    通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

    Apr, 2024

  • 神经预测器的同质化架构增强

    该论文提出了一种名为 Homogeneous Architecture Augmentation for Neural Predictor（HAAP） 的算法，通过同质化编码和架构增强方法，生成足够的 DNN 架构数据集以训练神经预测器，并证明该算法在两种 NAS 基准数据集上均优于现有算法。

    Jul, 2021

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • 仅需图表？无需训练的轻量级数据不可知神经架构搜索

    通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并在不同数据集上实现有竞争力的性能，包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。

    May, 2024

  • 图形超网络用于神经架构搜索

    本文提出了一种新的神经网络结构搜索方法 ——Graph HyperNetworks，借助图神经网络来预测网络性能并直接生成权重，从而提高神经网络搜索效率；此外，Graph HyperNetworks 还可在任意预测环境下使用，在 CIFAR-10 和 ImageNet 等数据集上比现有手动设计网络更快且性能更好。

    Oct, 2018

  • 不训练它：一个基于线性神经架构搜索的图神经网络

    本文提出了一种用稀疏编码目标寻找参数的神经架构编码（NAC）方法，用于 NAS-GNNs，无需更新可在线性时间内高效计算，多个基准测试集上实验结果表明相比强基准线方法提高了 18.8% 的性能且速度快了最高 200 倍。

    May, 2023

  • 通过从数据集学习生成图形实现快速神经架构搜索

    本文提出了一种高效的神经架构搜索（Neural Architecture Search, NAS）框架，基于元学习的跨模态潜空间，结合预训练的网络库和数据库，可以快速地为新数据集搜索神经架构，并且还提出了一种元性能预测器来从多个未见数据集中预估和选择最佳的神经架构。实验结果表明，该模型受过 ImageNet-1K 的元学习并结合 NAS-Bench 201 搜索空间的神经架构，在包括 CIFAR-10 和 CIFAR-100 等多个未见数据集上成功泛化，平均搜索时间为 33 GPU 秒，即使在 MobileNetV3 搜索空间下，它比具有相似性能的可转移 NAS 方法 NSGANetV2 快 5.5K 倍。我们认为这为快速 NAS 和利用累积多年的数据集和架构的知识提出了新的研究方向。

    Jul, 2021

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • GraphPNAS：通过深度图生成模型学习优秀神经架构的分布

    本文探讨神经结构搜索 (NAS) 的计算图模型，提出了一种利用图神经网络的深度生成模型 (GraphPNAS)，通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire，ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验，并且结合强化学习方法生成高质量的神经结构，结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法，并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。

    Nov, 2022

  • Auto-GNN: 图神经网络的神经架构搜索

    本文为了解决图神经网络结构设计中的耗时领域，提出了一种自动化图神经网络（AGNN）框架，使用强化学习的控制器去贪婪地验证架构，可以在预定义的搜索空间内找到最优的 GNN 架构，实现了参数共享的优化，可以大幅提升搜索效率，并在真实世界的基准数据集上进行了实验证明。

    Sep, 2019