使用 GPT-4 进行图神经网络架构搜索
通过使用 GPT-4 模型,本论文提出了一种新的 GPT-4 增强的异构图神经网络结构搜索 (GHGNAS),以提高搜索效率和准确性,并通过实验证明 GHGNAS 可以利用 GPT-4 的强大泛化能力,运行更有效和更稳定。
Dec, 2023
本文提出的 Graph Neural Architecture Search 可以自动化搜索图神经网络的最佳深度和最佳的消息传递机制,以达到优越的图任务结果。
Mar, 2021
图神经网络(GNN)广泛应用于各个领域的数据科学任务,但为了设计 / 选择最佳的 GNN 结构,研究人员和实践者需要付出大量的努力和计算成本。为了节省人力努力和计算成本,我们提出了一种高效且可解释的图神经架构搜索方法(ExGNAS),它包括适用于各类图的简单搜索空间和能够解释决策过程的搜索算法。通过与现有方法进行综合评估,实验结果表明 ExGNAS 在准确性和运行时间方面超过当前的图神经架构搜索方法,并有效分析同质图和异质图中 GNN 架构的差异。
Aug, 2023
GPT-NAS 是一种基于预训练模型的神经结构搜索算法,通过引入先验知识来大大减少搜索空间,从而优化神经网络架构,并在实验中取得了比其他七个手动设计的神经结构和竞争 NAS 方法提供的 13 个神经结构的好结果,并提高了经过精细调整的神经结构的性能。
May, 2023
本文探讨了 GPT-4 在神经结构搜索领域的潜力并提出了一种基于 GPT-4 的优化方法 GENIUS,旨在通过较简单的启动方案利用 GPT-4 作为黑盒优化器快速寻找神经结构搜索空间中的有效候选方案并迭代优化,以改善性能,通过基准测试证明了 GENIUS 的有效性,同时也指出了研究的重要局限性和 AI 安全的影响。
Apr, 2023
本研究提出一种名为 GraphNAS 的图神经网络结构搜索方法,可用于自动搜索最佳图神经网络架构,通过强化学习训练循环网络,实现生成变长字符串,针对验证数据集的期望准确性最大化,实验结果表明在传导和归纳性学习设置中的节点分类任务中,GraphNAS 具有一致更好的性能,并可设计出一种与最佳人工设计的结构相媲美的新型网络架构。
Apr, 2019
本文探讨神经结构搜索 (NAS) 的计算图模型,提出了一种利用图神经网络的深度生成模型 (GraphPNAS),通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire,ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验,并且结合强化学习方法生成高质量的神经结构,结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法,并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。
Nov, 2022
设计一种通过有价值的图数据识别重要子架构的联合图数据和架构机制,以搜索轻量级图神经网络 (GNNs) 的最佳架构,提出一种带有图稀疏化和网络修剪的轻量级图神经体系结构搜索 (GASSIP) 方法,并通过两个不可分割的模块优化这些模块来高效搜索最佳轻量级架构。
Jun, 2024
本文比较了基于强化学习和进化算法的两种神经架构搜索方法来优化图神经网络,结果在包括 7 个数据集的两个搜索空间内显示出两种方法的准确性与随机搜索相似,引出了有多少搜索空间维度实际上与问题相关的问题。
Jul, 2020
本文提出了一种并行的图神经网络架构搜索框架 (GraphPAS),采用分享式进化学习并动态采用架构信息熵进行变异选择概率,从而提高搜索效率和准确性。实验结果表明,GraphPAS 在效率和准确性上都优于现有技术。
Dec, 2021