MuseGNN:可解释且收敛的大规模图神经网络层
该论文分析了深度图神经网络的瓶颈问题以及提出了一种基于狄利克雷能量的通用原则,通过该原则设计了一种新型深度图神经网络框架 - EGNN,并在实验结果中取得了最新颖的表现。
Jul, 2021
本文提出基于超图正则化能量函数的多个超图神经网络,论述了如何将最小化这些能量的结点嵌入技术,与参数化分类器结合进行端到端训练的过程,并通过实验证明了其优秀性能。
Jun, 2023
本文介绍和证明了隐式图神经网络存在的两个弱点:他们的限制表达能力由于他们对捕获长程依赖性的有效范围有限以及他们无法在多个分辨率上对图进行多尺度信息建模。为了缓解这些弱点,我们提出了一种带有隐式层次的多尺度图神经网络 (MGNNI),它能够模拟图的多尺度结构,具有更广泛的有效范围,能够捕获长程依赖性,并且在节点分类和图分类方面,我们进行了全面的实验来表明 MGNNI 优于代表性基准,并具有更好的多尺度建模和捕获长程依赖性的能力。
Oct, 2022
图神经网络(GNNs)用于链接预测,有两种广泛的分类。首先,以节点为基础的体系结构为每个节点预先计算个体嵌入,之后由简单的解码器组合以作出预测。与推理时的极高效性相比(因为节点嵌入只计算一次并重复使用),模型的表达能力有限,即对候选边贡献的同构节点可能无法区分,从而损害准确性。相反,基于边的方法依赖于形成特定于边的子图嵌入以丰富对配对关系的表示,以消除同构节点以提高准确性,但代价是增加模型复杂性。为了更好地权衡这种权衡,我们提出了一种新颖的 GNN 体系结构,其中 “前向传递” 显式依赖于正向(一般情况下)和负向(我们方法独有)边,以摄入更灵活但仍然廉价的以节点为基础的嵌入。通过将嵌入自身重新定义为正负样本分离的正向传递特定能量函数(与实际训练损失不同),所提出的体系结构在广泛的经验评估中得到了验证,既保持了以节点为基础的模型的推理速度,又产生了与基于边的替代方法竞争性的准确性。
Oct, 2023
该研究提出了一种基于双层优化的异构图神经网络结构,其可以有效处理节点分类任务中的深度模型中可能出现的 oversmoothing 问题,并捕获异构图结构数据的长程依赖关系,同时能够建模不同节点类型之间的异质性关系,避免了过度平滑效应。实验结果表明,该模型可以取得有竞争力的节点分类精度。
Jun, 2022
本文针对图结构数据的分类问题,提出了一种基于能量的图神经网络模型,并成功实现了该模型,通过实验发现它在鲁棒性方面比标准的图卷积网络有明显提升,为未来基于能量的图神经网络研究开辟了新的方向。
Apr, 2021
本文提出了一种理论框架来分析图神经网络的表达能力和限制,并阐述了如何有效地捕捉不同的图结构。通过提出的一个简单的架构,实验验证了理论的发现,并取得了最先进的性能。
Oct, 2018
该论文提出了一种新的框架,使用基于节点度数的门控机制动态地调整图神经网络的层数,从而增强信息聚合的能力并减少过度平滑,通过实验验证该模型在多个数据集上表现良好。
May, 2022
本文提出了一种新的、高效且可扩展的图深度学习架构,通过使用不同尺寸的图卷积滤波器,绕过了图采样的必要性,从而允许极快速的训练和推理,同时在比对测试中展现了与其他最先进架构相竞争的表现,对于包含超过 1.1 亿个节点和 15 亿条边的公共图数据集 ogbn-papers100M 实现了最先进的结果。
Apr, 2020
本文提出了并行化技术,为图采样 GCN 提供卓越的可扩展性性能,在不妥协准确性的情况下,在非常大的图上实现了优秀的性能。具体地,我们保证了 GCN 的高效训练,并在计算和通信方面节约了数量级的开销,同时,我们的并行图嵌入在可扩展性、效率和准确性方面优于现有的方法。
Oct, 2018