May, 2023

不训练它：一个基于线性神经架构搜索的图神经网络

PDF
TL;DR本文提出了一种用稀疏编码目标寻找参数的神经架构编码（NAC）方法，用于 NAS-GNNs，无需更新可在线性时间内高效计算，多个基准测试集上实验结果表明相比强基准线方法提高了 18.8% 的性能且速度快了最高 200 倍。
neural architecture searchgraph neural networksnas-gnnssparse coding objectivestate-of-the-art performance
发现论文，激发创造
  • 图神经网络中的神经结构搜索

    本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络，结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似，引出了有多少搜索空间维度实际上与问题相关的问题。

    Jul, 2020

  • Auto-GNN: 图神经网络的神经架构搜索

    本文为了解决图神经网络结构设计中的耗时领域，提出了一种自动化图神经网络（AGNN）框架，使用强化学习的控制器去贪婪地验证架构，可以在预定义的搜索空间内找到最优的 GNN 架构，实现了参数共享的优化，可以大幅提升搜索效率，并在真实世界的基准数据集上进行了实验证明。

    Sep, 2019

  • GraphNAS: 强化学习下的图神经网络架构搜索

    本研究提出一种名为 GraphNAS 的图神经网络结构搜索方法，可用于自动搜索最佳图神经网络架构，通过强化学习训练循环网络，实现生成变长字符串，针对验证数据集的期望准确性最大化，实验结果表明在传导和归纳性学习设置中的节点分类任务中，GraphNAS 具有一致更好的性能，并可设计出一种与最佳人工设计的结构相媲美的新型网络架构。

    Apr, 2019

  • 简化图神经网络架构搜索

    本文介绍了一种名为 SNAG 的框架，通过一种基于强化学习的搜索算法和一个新颖的搜索空间，用于寻找适合于图神经网络的架构，并与其他方法进行了广泛实验。结果表明，SNAG 框架比人工设计的 GNN 和其他 NAS 方法，包括 GraphNAS 和 Auto-GNN 方法更加有效。

    Aug, 2020

  • 仅需图表？无需训练的轻量级数据不可知神经架构搜索

    通过将神经结构转换为图形并使用平均度量作为代理评估指标，我们的 nasgraph 方法显著降低了训练自动设计的神经网络模型候选的计算成本，实现在 217 CPU 秒内从 NAS-Bench201 的 200 个随机采样架构中找到最佳架构，并在不同数据集上实现有竞争力的性能，包括 NASBench-101、NASBench-201 和 NDS 搜索空间。我们还展示了 nasgraph 在 Micro TransNAS-Bench-101 上可以推广至更具挑战性的任务。

    May, 2024

  • GraphPNAS：通过深度图生成模型学习优秀神经架构的分布

    本文探讨神经结构搜索 (NAS) 的计算图模型，提出了一种利用图神经网络的深度生成模型 (GraphPNAS)，通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire，ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验，并且结合强化学习方法生成高质量的神经结构，结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法，并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。

    Nov, 2022

  • 图神经网络的对抗鲁棒性神经架构搜索

    我们提出了一种名为 G-RNA 的新型鲁棒神经结构搜索框架，它为消息传递机制提供了一个鲁棒的搜索空间，并定义了一个鲁棒度量来指导搜索过程，可以有效地搜索到最优的鲁棒性较强的 GNN， 在对基准数据集进行的广泛实验结果中，G-RNA 在对抗攻击下优于手动设计的鲁棒性 GNN 和基本的图形 NAS 基线 12.1％至 23.4％。

    Apr, 2023

  • 图神经网络的进化架构搜索

    本研究提出了一种新的自动化机器学习（AutoML）框架，通过演化图神经网络（GNN）模型来寻找最合适的结构和学习参数，并在半监督和归纳式节点表示学习和分类任务上展示它的性能。

    Sep, 2020

  • 高效且可解释的图神经网络架构搜索：蒙特卡洛树搜索

    图神经网络（GNN）广泛应用于各个领域的数据科学任务，但为了设计 / 选择最佳的 GNN 结构，研究人员和实践者需要付出大量的努力和计算成本。为了节省人力努力和计算成本，我们提出了一种高效且可解释的图神经架构搜索方法（ExGNAS），它包括适用于各类图的简单搜索空间和能够解释决策过程的搜索算法。通过与现有方法进行综合评估，实验结果表明 ExGNAS 在准确性和运行时间方面超过当前的图神经架构搜索方法，并有效分析同质图和异质图中 GNN 架构的差异。

    Aug, 2023

  • 图形超网络用于神经架构搜索

    本文提出了一种新的神经网络结构搜索方法 ——Graph HyperNetworks，借助图神经网络来预测网络性能并直接生成权重，从而提高神经网络搜索效率；此外，Graph HyperNetworks 还可在任意预测环境下使用，在 CIFAR-10 和 ImageNet 等数据集上比现有手动设计网络更快且性能更好。

    Oct, 2018