GraphPNAS：通过深度图生成模型学习优秀神经架构的分布

Nov, 2022

GraphPNAS：通过深度图生成模型学习优秀神经架构的分布

GraphPNAS: Learning Distribution of Good Neural Architectures via Deep Graph Generative Models

Muchen Li, Jeffrey Yunfan Liu, Leonid Sigal, Renjie Liao

TL;DR本文探讨神经结构搜索 (NAS) 的计算图模型，提出了一种利用图神经网络的深度生成模型 (GraphPNAS)，通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire，ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验，并且结合强化学习方法生成高质量的神经结构，结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法，并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。

Abstract

Neural architectures can be naturally viewed as computational graphs. Motivated by this perspective, we, in this paper, study neural architecture search (NAS) through the lens of learning random graph models. In contrast to existing NAS methods which largely focus on searching for a si

neural architecture search graph neural networks deep learning reinforcement learning random graph models

发现论文，激发创造

GraphNAS: 强化学习下的图神经网络架构搜索

本研究提出一种名为 GraphNAS 的图神经网络结构搜索方法，可用于自动搜索最佳图神经网络架构，通过强化学习训练循环网络，实现生成变长字符串，针对验证数据集的期望准确性最大化，实验结果表明在传导和归纳性学习设置中的节点分类任务中，GraphNAS 具有一致更好的性能，并可设计出一种与最佳人工设计的结构相媲美的新型网络架构。

Apr, 2019

图神经网络中的神经结构搜索

本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

Jul, 2020

后验引导的神经网络结构搜索

本研究从贝叶斯角度出发，提出了一种后验引导的神经结构搜索方法（PGNAS），通过估计网络结构和权重的联合后验分布，减少数据采样与超参数调整，并在图像分类任务上进行验证，证明了 PGNAS 较其它方法在搜索精度与速度方面具有良好的平衡。

Jun, 2019

GPT-NAS: 采用生成式预训练模型进行神经架构搜索

GPT-NAS 是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争 NAS 方法提供的 13 个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

May, 2023

高效且可解释的图神经网络架构搜索：蒙特卡洛树搜索

图神经网络（GNN）广泛应用于各个领域的数据科学任务，但为了设计 / 选择最佳的 GNN 结构，研究人员和实践者需要付出大量的努力和计算成本。为了节省人力努力和计算成本，我们提出了一种高效且可解释的图神经架构搜索方法（ExGNAS），它包括适用于各类图的简单搜索空间和能够解释决策过程的搜索算法。通过与现有方法进行综合评估，实验结果表明 ExGNAS 在准确性和运行时间方面超过当前的图神经架构搜索方法，并有效分析同质图和异质图中 GNN 架构的差异。

Aug, 2023

生成对抗神经架构搜索

本文提出了具有可证明收敛保证的生成式对抗网络 NAS (GA-NAS)，并基于权重的鉴别器提供的奖励，采用增强学习训练生成器，探索搜寻空间而无需评估大量体系结构，通过三个公共 NAS 基准测试，在多个情况下 GA-NAS 都能打败已发布的最佳结果，同时 GA-NAS 可以处理特定搜寻约束和空间，能用于改进其他 NAS 方法找到的优化基线的 ImageNet 准确性或参数数量。

May, 2021

不训练它：一个基于线性神经架构搜索的图神经网络

本文提出了一种用稀疏编码目标寻找参数的神经架构编码（NAC）方法，用于 NAS-GNNs，无需更新可在线性时间内高效计算，多个基准测试集上实验结果表明相比强基准线方法提高了 18.8% 的性能且速度快了最高 200 倍。

May, 2023

从消息传递重新思考图神经架构搜索

本文提出的 Graph Neural Architecture Search 可以自动化搜索图神经网络的最佳深度和最佳的消息传递机制，以达到优越的图任务结果。

Mar, 2021

FR-NAS: 前向和后向图预测器用于高效的神经网络架构搜索

通过使用图神经网络作为性能预测器，将神经架构转化为向量表示，并使用定制训练损失来提高预测准确性。在多个基准数据集上进行的实验结果表明，与其他图神经网络预测器相比，预测准确性显著提高，Kendall-tau 相关性增加了 3% 至 16%。

Apr, 2024

仅需图表？无需训练的轻量级数据不可知神经架构搜索

通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并在不同数据集上实现有竞争力的性能，包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。

May, 2024