Feb, 2024

使用分布式边布局进行图形学习

PDF
TL;DR图神经网络（GNNs）通过基于特定的拓扑布局在邻居节点之间通过边缘传递局部消息来学习图结构化数据。本文首次提出使用具备显式物理能量的玻尔兹曼分布所搭配的 Langevin 动力学全局采样拓扑布局，以提升其在物理世界中的适用性。我们认为这样的采样 / 优化布局能够捕捉广泛的能量分布，并在 WL-test 之上提供额外的表达能力，从而简化下游任务。为此，我们提出分布式边缘布局（DELs）作为各种 GNNs 的补充。DEL 是一种预处理策略，独立于后续的 GNN 变体，因此非常灵活。实验结果表明，DELs 一致且显著地提升了一系列 GNN 基准算法，在多个数据集上取得了最先进的性能。
graph neural networkstopological layoutslangevin dynamicsdistributional edge layoutsgnn baselines
发现论文，激发创造
  • 边缘端的 GNN：在分布式边缘服务器上实现成本有效的图神经网络处理

    本文系统研究了多层异构边缘网络上的分布式图神经网络处理的成本优化，发现图神经网络的独特计算模式含有二次次模性质，在此基础上设计了基于图切割的迭代解法，并通过实验评估证明了其在成本降低、收敛速度等方面均具有优异性能。

    Oct, 2022

  • 图神经网络中节点分类的分布式信号

    本论文介绍了一种将分布式图信号运用于图神经网络中、以提高 GNN 在半监督节点分类中性能的正则化方法。通过数值实验发现，该方法能够显著改善不同问题设置下大多数基本 GNN 模型的性能。

    Apr, 2023

  • 学习资源分配策略：顶点 - GNN 还是边 - GNN？

    分析了 Vertex-GNNs 和 Edge-GNNs 在学习无线策略时的表达能力，说明了通过使用线性处理器和输出维度来提高 GNNs 的表达能力的必要条件，并通过模拟结果验证了 Edge-GNNs 能以较低的训练和推理时间达到与 Vertex-GNNs 相同的性能。

    Jul, 2023

  • 约束狄利克雷能量的深度图神经网络学习

    该论文分析了深度图神经网络的瓶颈问题以及提出了一种基于狄利克雷能量的通用原则，通过该原则设计了一种新型深度图神经网络框架 - EGNN，并在实验结果中取得了最新颖的表现。

    Jul, 2021

  • 在连续图扩散函数空间中重新思考和重新设计图神经网络

    本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力，并采用总变差方法对图扩散模式与社区拓扑进行对齐，最后构建了一种能够预测图中传播流的生成对抗网络。最终，我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。

    Jul, 2023

  • 演化图上 GNN 的微分几何视角与可解释性

    通过使用公理化归因，我们提出了一种平滑参数化的图神经网络（GNN）预测分布，在一个高维嵌入空间中的低维流形上进行。我们利用微分几何观点在流形上建模分布演化，通过重新参数化流形上的曲线族并设计一个凸优化问题，找到一个独特的曲线，以简洁地近似分布演化，以供人类解释。对于具有演化图的节点分类、链路预测和图分类任务的大量实验证明了所提方法相对于现有技术方法的更好的稀疏性、忠实性和直观性。

    Mar, 2024

  • 从连续动力学到图神经网络：神经扩散与更多

    图神经网络（GNNs）在建模关系型数据方面表现出显著的潜力，并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递，其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限，并进而指导模型设计。最近，出现了大量使用连续动态学的 GNNs 的作品，旨在解决 GNNs 已知的局限性，如过度平滑和过度压缩。在这项调查中，我们首次系统全面地审查了使用连续动态学视角的研究。为此，我们介绍了适应 GNNs 的连续动态学的基本要素，以及对图神经动力学设计的一般框架。然后，我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后，我们确定了多个开放的研究方向。

    Oct, 2023

  • 图元网络：自适应、结构化的计算和记忆

    本文探讨了使用图神经网络模拟没有先验图形结构的空间过程，以及通过计算优化和泛化学习输入输出关系等相关问题。

    Apr, 2019

  • 分布式保持图表示学习

    本文介绍了分布保持图神经网络（DP-GNN），它可以提高具有表现力的 GNN 模型的泛化能力，并在多个基准数据集上的图分类任务中取得了最优结果。

    Feb, 2022

  • 图神经网络分布式系统的演化及其在图处理和深度学习中的起源：一项调查

    本文总结和分类大规模图神经网络解决方案的重要方法和技术，并建立了图神经网络系统、图处理系统和深度学习系统之间的联系。

    May, 2023