图神经网络中的神经结构搜索
本研究提出一种名为 GraphNAS 的图神经网络结构搜索方法,可用于自动搜索最佳图神经网络架构,通过强化学习训练循环网络,实现生成变长字符串,针对验证数据集的期望准确性最大化,实验结果表明在传导和归纳性学习设置中的节点分类任务中,GraphNAS 具有一致更好的性能,并可设计出一种与最佳人工设计的结构相媲美的新型网络架构。
Apr, 2019
本研究提出了一种新的自动化机器学习(AutoML)框架,通过演化图神经网络(GNN)模型来寻找最合适的结构和学习参数,并在半监督和归纳式节点表示学习和分类任务上展示它的性能。
Sep, 2020
本文为了解决图神经网络结构设计中的耗时领域,提出了一种自动化图神经网络(AGNN)框架,使用强化学习的控制器去贪婪地验证架构,可以在预定义的搜索空间内找到最优的 GNN 架构,实现了参数共享的优化,可以大幅提升搜索效率,并在真实世界的基准数据集上进行了实验证明。
Sep, 2019
本文介绍了一种名为 SNAG 的框架,通过一种基于强化学习的搜索算法和一个新颖的搜索空间,用于寻找适合于图神经网络的架构,并与其他方法进行了广泛实验。结果表明,SNAG 框架比人工设计的 GNN 和其他 NAS 方法,包括 GraphNAS 和 Auto-GNN 方法更加有效。
Aug, 2020
本文提出了一个名为 SANE 的框架,用于自动设计数据特定的 GNN 体系结构,并通过设计新颖且具有表现力的搜索空间和更有效的可微搜索算法,解决了 NAS 方法面临的计算难题。在四项任务和七个真实世界的数据集上的实验结果表明,SANE 在效率和效果方面比现有的 GNN 模型和 NAS 方法更为优异。
Apr, 2021
本文提出了一种用稀疏编码目标寻找参数的神经架构编码(NAC)方法,用于 NAS-GNNs,无需更新可在线性时间内高效计算,多个基准测试集上实验结果表明相比强基准线方法提高了 18.8% 的性能且速度快了最高 200 倍。
May, 2023
图神经网络(GNN)广泛应用于各个领域的数据科学任务,但为了设计 / 选择最佳的 GNN 结构,研究人员和实践者需要付出大量的努力和计算成本。为了节省人力努力和计算成本,我们提出了一种高效且可解释的图神经架构搜索方法(ExGNAS),它包括适用于各类图的简单搜索空间和能够解释决策过程的搜索算法。通过与现有方法进行综合评估,实验结果表明 ExGNAS 在准确性和运行时间方面超过当前的图神经架构搜索方法,并有效分析同质图和异质图中 GNN 架构的差异。
Aug, 2023
我们提出了一种名为 G-RNA 的新型鲁棒神经结构搜索框架,它为消息传递机制提供了一个鲁棒的搜索空间,并定义了一个鲁棒度量来指导搜索过程,可以有效地搜索到最优的鲁棒性较强的 GNN, 在对基准数据集进行的广泛实验结果中,G-RNA 在对抗攻击下优于手动设计的鲁棒性 GNN 和基本的图形 NAS 基线 12.1%至 23.4%。
Apr, 2023
本文提出了一种将神经结构搜索 (NAS) 看作寻找最优网络生成器的问题,同时提出了一种新的、层次化和基于图形的搜索空间,实现了在极少连续超参数的情况下表示极大多样性的网络类型。通过贝叶斯优化作为搜索策略,该方法有效地扩展了有效架构的范围,促进了多目标学习方法的发展, 并在六个基准数据集上进行了验证,在生成轻量级且高度竞争的模型方面表现出了有效性。
Apr, 2020
本文探讨神经结构搜索 (NAS) 的计算图模型,提出了一种利用图神经网络的深度生成模型 (GraphPNAS),通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire,ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验,并且结合强化学习方法生成高质量的神经结构,结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法,并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。
Nov, 2022