Mar, 2024

基于预测的神经结构搜索的编码方式

PDF
TL;DR利用预测器进行神经结构搜索（NAS）优化的方法大大提高了其有效性，本文对神经网络架构的编码方法进行了分类和研究，包括结构编码、学习编码和基于分数的编码，并引入了统一编码方法，进一步扩展了 NAS 预测器的应用范围。此研究基于在 NASBench-101（NB101）、NB201、NB301、Network Design Spaces（NDS）和 TransNASBench-101 等 NAS 领域超过 150 万个神经网络架构进行的实验证明，我们提出的预测器 FLAN（流动关注）通过融合预测器设计、迁移学习和统一编码，在训练 NAS 准确性预测器时能大幅度降低成本。所有神经网络的实现和编码方式均已在 https://github.com/abdelfattah-lab/flan_nas 开源。
neural architecture searchpredictor-based methodsneural encodingsunified encodingsflan
发现论文，激发创造
  • 神经架构搜索编码的研究

    本文研究神经架构搜索的编码方式对性能的影响，通过理论推导和实验比对，发现编码方式是设计上的重要决策，对性能有显著影响。

    Jul, 2020

  • 基于神经预测的 NAS 在零样本 NAS 范式中的有效性

    利用深度学习方法提出了一种新的零样本神经架构搜索方法，该方法使用正弦编码的傅里叶和来构建计算前馈图，并通过伴随的多层感知机对架构进行排序。实验证明，该方法在 NAS-Bench-201 数据集上的相关性和收敛速度均超过了先前使用图卷积网络的方法，并且所提取的特征表示经训练后可迁移到其他 NAS-Benchmark，展现了在多个搜索空间中的潜在普适性。

    Aug, 2023

  • 多预测：用于高效神经架构搜索的少样本预测器

    本文提出了一种基于零成本代理的搜索空间无关神经网络编码方法，以实现对多个任务、搜索空间和硬件设备的准确性和延迟预测进行多任务、多搜索空间和多硬件的自适应，从而在提高端到端样本效率方面取得了显著的效果。

    Jun, 2023

  • 基于图神经网络的通用架构编码方案，用于基于预测的 NAS

    提出一种新型的基于图的神经架构编码方案 GATES，通过模拟神经架构的实际数据处理方式 -- 传播信息的转换，改进了基于预测器的神经架构搜索，并成功地提高了搜索样本的效率。

    Apr, 2020

  • 一种半监督的神经架构评估器

    本文提出了一种半监督评估神经架构的方法，使用自编码器发现神经架构的有意义的表示，并利用图卷积神经网络来预测它们的性能，以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验，证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。

    May, 2020

  • FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

    通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

    Apr, 2024

  • 非监督式架构表示学习是否有助于神经架构搜索？

    本研究发现，基于无监督表征学习预训练神经网络结构表征，而非结合准确度优化开始的结构搜索，在提高下游结构搜索效率方面表现更卓越，因为无监督学习更能促进具有相似连接和算子的神经网络聚集在一起，并使具有类似性能的神经网络在潜在空间中转移更加平滑。

    Jun, 2020

  • NPENAS: 神经预测引导的神经结构搜索

    本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.

    Mar, 2020

  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • 无需训练的 RNN 和 Transformer 神经结构搜索

    本文研究了针对语言建模任务的循环神经网络 (RNN) 和基于 BERT 的 transformer 架构的无需训练的 NAS 指标，提出了一种新的指标来预测训练后的 RNN 性能，并发现 transformer 的搜索空间范式不适用于无需训练的神经架构搜索，需要进行优化。

    Jun, 2023