ICLRMar, 2024

GNN-VPA：图神经网络的方差保持聚合策略

PDF
TL;DR通过应用信号传播理论，我们提出了一种保持表达能力但具有改进的前向和后向动力学的方差保持聚合函数 (VPA)，实验证明 VPA 能够提高流行的 GNN 架构的预测性能和学习动力学，这可能为无归一化或自归一化 GNN 铺平道路。
graph neural networksexpressivitymessage aggregationgraph-level readoutvariance-preserving aggregation
发现论文，激发创造
  • 图网络的主邻域聚合

    本研究扩展了图神经网络的理论框架来包含连续特征，并提出了基于 Principal Neighbourhood Aggregation 的新型网络结构，探讨了多种聚合函数需求，旨在寻求更强大和稳健的模型。实验表明，该方法在多项任务上都具有优异的性能。

    Apr, 2020

  • Policy-GNN：图神经网络的聚合优化

    本文提出了 Policy-GNN 方法，通过 meta-policy 学习采样策略和消息传递，以解决 GNN 中的聚合优化问题，提高对图数据的建模精度。实验表明 Policy-GNN 显著优于现有的替代方法。

    Jun, 2020

  • 图神经网络作为图信号去噪的统一视角

    本篇论文针对图结构数据的表征学习中的聚合操作进行研究，探究 GCN、GAT、PPNP、APPNP 等 GNN 模型的聚合过程与图像去噪问题之间的通用性，进而提出统一图神经网络框架 UGNN，并基于此开发了 ADA-UGNN 模型，通过实验验证了其在自适应平滑性的图中的有效性。

    Oct, 2020

  • 混合图上的消息传递网络的泛化界限

    研究了消息传递神经网络（MPNNs）的泛化能力，并给出了具体适用于具有规范化求和和平均聚合的 MPNNs 的泛化边界。在更现实和具有挑战性的情境下，通过分析简单的随机图、扰动的图标和稀疏图，得出结论表明，只要图形足够大，比训练集的大小复杂，MPNNs 仍然可以有效地泛化。

    Apr, 2024

  • 通过保持基数改进图神经网络中的注意机制

    本文介绍了基于图神经网络中的注意力机制的表征性质，并发现由于忽略注意力汇聚中的基数信息，这些基于注意力机制的 GNNs 有时会失败，因此提出了一种能够保留基数信息的注意力模型，该模型可适用于任何类型的注意力机制，并在节点和图分类任务上取得了竞争性能.

    Jul, 2019

  • 图神经网络中消息传递的学习

    该研究论文研究了学习图神经网络（GNNs）的信息传播策略的问题。为了克服图神经网络面临的传播策略定义问题，研究人员提出了一种学习传播框架，可以明确学习不同节点和各种类型图的易于理解和个性化的传播策略。通过对多种图基准进行广泛实验，结果表明该方法相较于其他最先进的方法具有显著的提高和在 GNNs 中能够有效地学习个性化和易于理解的传播策略。

    Oct, 2023

  • VQ-GNN：一种使用矢量量化扩大图神经网络的通用框架

    文章提出了一种新的基于向量量化技术的通用框架 VQ-GNN，为了解决图神经网络中的邻居爆炸问题和扩展性问题，该方法可以有效地保留所有传递给 mini-batch 的节点的信息，同时使用小量的量化参考向量和低秩图卷积矩阵进行图嵌入，同时该框架还设计了一种新的基于近似算法的信息传递算法和反向传播规则来优化模型性能，在节点分类和链接预测基准测试中表现出了可伸缩性和竞争力。

    Oct, 2021

  • 图神经网络中池化的表达能力

    本文研究图神经网络中的池化操作的表现力问题，并介绍了一种可以全面维持 message-passing 层的表现力的池化操作设计原则，进而通过实验验证其在图同构检测上的效果。

    Apr, 2023

  • GNN 聚合编程抽象的架构影响

    对现有的图神经网络聚合编程抽象方法进行综合评估和分析，比较它们的性能和效率，并基于分析结果提供未来图神经网络加速的几个见解。

    Oct, 2023

  • 图神经网络的初始化

    对图神经网络 (GNN) 的初始化方法进行研究，提出了一种新的初始化方法 Virgo，通过考虑激活函数、隐藏维度、图结构和信息传递等因素，减少了方差不稳定性，提高了模型性能。

    Dec, 2023