基于 GPT-4 的异质图神经架构搜索

Dec, 2023

Heterogeneous Graph Neural Architecture Search with GPT-4

Haoyuan Dong, Yang Gao, Haishuai Wang, Hong Yang, Peng Zhang

TL;DR通过使用 GPT-4 模型，本论文提出了一种新的 GPT-4 增强的异构图神经网络结构搜索 (GHGNAS)，以提高搜索效率和准确性，并通过实验证明 GHGNAS 可以利用 GPT-4 的强大泛化能力，运行更有效和更稳定。

Abstract

heterogeneous graph neural architecture search (HGNAS) represents a powerful tool for automatically designing effective heterogeneous graph neural networks. However, existing HGNAS algorithms suffer from ineffici

heterogeneous graph neural architecture search gpt-4 ghgnas heterogeneous graph neural networks search efficiency

发现论文，激发创造

使用 GPT-4 进行图神经网络架构搜索

利用 GPT-4 嵌入 GNAS 中进行图神经架构搜索，通过设计一类用于引导 GPT-4 生成图神经结构的提示信息，提供了更准确且收敛迅速的图神经网络，实验结果表明相比最先进的 GNAS 方法，嵌入 GPT-4 的 GNAS 取得了更好的性能。

Sep, 2023

从消息传递重新思考图神经架构搜索

本文提出的 Graph Neural Architecture Search 可以自动化搜索图神经网络的最佳深度和最佳的消息传递机制，以达到优越的图任务结果。

Mar, 2021

高效且可解释的图神经网络架构搜索：蒙特卡洛树搜索

图神经网络（GNN）广泛应用于各个领域的数据科学任务，但为了设计 / 选择最佳的 GNN 结构，研究人员和实践者需要付出大量的努力和计算成本。为了节省人力努力和计算成本，我们提出了一种高效且可解释的图神经架构搜索方法（ExGNAS），它包括适用于各类图的简单搜索空间和能够解释决策过程的搜索算法。通过与现有方法进行综合评估，实验结果表明 ExGNAS 在准确性和运行时间方面超过当前的图神经架构搜索方法，并有效分析同质图和异质图中 GNN 架构的差异。

Aug, 2023

GPT-4 能进行神经架构搜索吗？

本文探讨了 GPT-4 在神经结构搜索领域的潜力并提出了一种基于 GPT-4 的优化方法 GENIUS，旨在通过较简单的启动方案利用 GPT-4 作为黑盒优化器快速寻找神经结构搜索空间中的有效候选方案并迭代优化，以改善性能，通过基准测试证明了 GENIUS 的有效性，同时也指出了研究的重要局限性和 AI 安全的影响。

Apr, 2023

GPT-NAS: 采用生成式预训练模型进行神经架构搜索

GPT-NAS 是一种基于预训练模型的神经结构搜索算法，通过引入先验知识来大大减少搜索空间，从而优化神经网络架构，并在实验中取得了比其他七个手动设计的神经结构和竞争 NAS 方法提供的 13 个神经结构的好结果，并提高了经过精细调整的神经结构的性能。

May, 2023

图形超网络用于神经架构搜索

本文提出了一种新的神经网络结构搜索方法 ——Graph HyperNetworks，借助图神经网络来预测网络性能并直接生成权重，从而提高神经网络搜索效率；此外，Graph HyperNetworks 还可在任意预测环境下使用，在 CIFAR-10 和 ImageNet 等数据集上比现有手动设计网络更快且性能更好。

Oct, 2018

细粒度神经架构搜索

利用神经架构搜索和细粒化技术提出了一个可以在单个层内使用多种异构操作，甚至可以使用多种基本操作生成组合特征映射的框架。该框架可以通过随机梯度下降方法端到端地训练网络，并优化网络的资源利用效率。在大规模图像分类和图像超分辨率等计算机视觉任务中，该框架通过灵活的操作搜索和通道剪枝实现了最先进的性能。

Nov, 2019

基于课程图稀疏化的轻量化图神经网络搜索

设计一种通过有价值的图数据识别重要子架构的联合图数据和架构机制，以搜索轻量级图神经网络 (GNNs) 的最佳架构，提出一种带有图稀疏化和网络修剪的轻量级图神经体系结构搜索 (GASSIP) 方法，并通过两个不可分割的模块优化这些模块来高效搜索最佳轻量级架构。

Jun, 2024

GraphPNAS：通过深度图生成模型学习优秀神经架构的分布

本文探讨神经结构搜索 (NAS) 的计算图模型，提出了一种利用图神经网络的深度生成模型 (GraphPNAS)，通过学习表现良好的神经结构的分布来比单纯的搜索最佳结构更高效。作者使用 RandWire，ENAS 和 NAS-Bench-101/201 的三个搜索空间对 GraphPNAS 进行了广泛的实验，并且结合强化学习方法生成高质量的神经结构，结果表明其优于传统的基于 RNN 的神经结构生成器及随机搜索方法，并且取得了与当前最先进的 NAS 方法相当甚至更好的性能表现。

Nov, 2022

MaGNAS: 一种面向异构 MPSoC 部署的映射感知图神经元架构搜索框架

本文提出了 MaGNAS，一个设计 - 映射方法，用于在异构 MPSoC 平台上高效处理图形神经网络工作负载，旨在实现最大化设备资源效率，并证明实验结果表明该方法能够提供 1.57 倍的延迟加速和 3.38 倍的能源效率，而准确率损失仅为 0.11％。

Jul, 2023