FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索
提出了一种基于图卷积网络(GCN)的性能预测器,用于实现高效的硬件感知神经架构搜索(BRP-NAS)。与以往的方法不同,该方法重视模型之间的二元关系和迭代数据选择策略,实现了更高效的样本利用率。研究表明,该方法在多项飞行器搜索领域中的性能表现均优于现有方法,并呼吁人们重视准确的时延估计。
Jul, 2020
本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络,结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似,引出了有多少搜索空间维度实际上与问题相关的问题。
Jul, 2020
本研究提出一种名为 GraphNAS 的图神经网络结构搜索方法,可用于自动搜索最佳图神经网络架构,通过强化学习训练循环网络,实现生成变长字符串,针对验证数据集的期望准确性最大化,实验结果表明在传导和归纳性学习设置中的节点分类任务中,GraphNAS 具有一致更好的性能,并可设计出一种与最佳人工设计的结构相媲美的新型网络架构。
Apr, 2019
本文介绍了一种名为 SNAG 的框架,通过一种基于强化学习的搜索算法和一个新颖的搜索空间,用于寻找适合于图神经网络的架构,并与其他方法进行了广泛实验。结果表明,SNAG 框架比人工设计的 GNN 和其他 NAS 方法,包括 GraphNAS 和 Auto-GNN 方法更加有效。
Aug, 2020
本文提出了一种半监督评估神经架构的方法,使用自编码器发现神经架构的有意义的表示,并利用图卷积神经网络来预测它们的性能,以实现神经架构搜索的高效优化。我们在 NAS-Benchmark-101 数据集上进行了大量实验,证明了我们方法在减少寻找高效神经架构所需的完全训练的架构上是有效的。
May, 2020
本文提出了一种名为 GIAug 的有效的 DNN 架构扩增方法,它可以通过基于图同构的机制,非常高效地生成单一架构上多元化的注释架构,并将其编码成适合于大多数预测模型的形式,从而非常灵活地利用各种现有的基于性能预测的 NAS 算法,并且在 CIFAR-10 和 ImageNet 基准数据集上进行的广泛实验表明,GIAug 可以显著提高大多数最先进的同行预测器的性能,并且在与现有的最先进 NAS 算法相比时,可以在 ImageNet 上节省三个数量级的计算成本,同时保持类似的性能。
Jul, 2022
本文探讨神经结构搜索 (NAS) 的计算图模型,提出了一种利用图神经网络的深度生成模型 (GraphPNAS),通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire,ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验,并且结合强化学习方法生成高质量的神经结构,结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法,并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。
Nov, 2022
通过神经架构搜索,我们设计了一个自动化的消息传递神经网络(MPNNs)用于预测小分子的分子性质。 将自动化发现的 MPNNs 与手动设计的 GNNs 进行比较,表明后者在分子性质预测上表现更优。
Aug, 2020
通过将神经结构转换为图形并使用平均度量作为代理评估指标,我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本,实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构,并在不同数据集上实现有竞争力的性能,包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。
May, 2024
本文介绍了图卷积网络(GCN)和多层感知机(MLP)上邻接操作轨迹之间的差异,并提出了 RATs-NAS 来快速搜索所需的神经网络架构。RATs-NAS 由 Redirected Adjacent Trails GCN(RATs-GCN)和 Predictor-based Search Space Sampling (P3S)模块组成。基于本文的观察,认为具有相似的 FLOPs 架构将表现出类似的表现。最后,RATs-NAS 在 NASBench-201 的三个子数据集上显著击败了 WeakNAS,Arch-Graph 和其他竞争对手。
May, 2023