在连续图扩散函数空间中重新思考和重新设计图神经网络

Jul, 2023

在连续图扩散函数空间中重新思考和重新设计图神经网络

Re-Think and Re-Design Graph Neural Networks in Spaces of Continuous Graph Diffusion Functionals

Tingting Dan, Jiaqi Ding, Ziquan Wei, Shahar Z Kovalsky, Minjeong Kim...

TL;DR本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力，并采用总变差方法对图扩散模式与社区拓扑进行对齐，最后构建了一种能够预测图中传播流的生成对抗网络。最终，我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。

Abstract

graph neural networks (GNNs) are widely used in domains like social networks and biological systems. However, the locality assumption of GNNs, which limits information exchange to neighboring nodes, hampers their ability to capture long-range dependencies and global patterns in graphs.

graph neural networks variational analysis total variation generative adversarial network state-of-the-art performance

发现论文，激发创造

从连续动力学到图神经网络：神经扩散与更多

图神经网络（GNNs）在建模关系型数据方面表现出显著的潜力，并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递，其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限，并进而指导模型设计。最近，出现了大量使用连续动态学的 GNNs 的作品，旨在解决 GNNs 已知的局限性，如过度平滑和过度压缩。在这项调查中，我们首次系统全面地审查了使用连续动态学视角的研究。为此，我们介绍了适应 GNNs 的连续动态学的基本要素，以及对图神经动力学设计的一般框架。然后，我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后，我们确定了多个开放的研究方向。

Oct, 2023

学习在图上近似自适应核卷积

基于扩散核的扩散学习框架在图神经网络中控制了特征聚合范围，解决了节点级分类和过度平滑化的问题，并具备在阿尔茨海默病分类中实际应用的可行性。

Jan, 2024

连续图神经网络

本文提出了一种连续图神经网络 (CGNN)，可以广泛应用于现有的离散动态的图神经网络，并能够捕捉节点之间的远距离依赖关系。实验结果表明，相对于竞争基线，该方法在节点分类任务上是有效的，且具有抗过度平滑的特性。

Dec, 2019

图神经扩散网络用于半监督学习

GND-Nets, a new graph neural network that exploits local and global neighborhood information, is proposed to mitigate the over-smoothing and under-smoothing problems of Graph Convolutional Networks, using a new graph diffusion method called neural diffusions, which integrate neural networks into the conventional linear and nonlinear graph diffusions.

Jan, 2022

图神经网络的学习方式：从函数空间训练动态中获得的教训

图神经网络的学习动态可以重新构建为一个更熟悉的标签传播框架，因为这个过程中存在图的归纳偏差，从而提供了为什么学习后的图神经网络函数能成功推广以及在异构图上的病态行为的解释。实际上，稀疏化和实施学习动力学导致了一种具有经典算法效率和现代图神经网络效果的极简半监督学习算法。

Oct, 2023

图元网络：自适应、结构化的计算和记忆

本文探讨了使用图神经网络模拟没有先验图形结构的空间过程，以及通过计算优化和泛化学习输入输出关系等相关问题。

Apr, 2019

解放图神经网络：摆脱繁琐调整

为了解决图神经网络的高计算成本和高人力成本问题，本研究提出了一种图条件潜在扩散框架（GNN-Diff），通过从粗略搜索中学习保存的检查点直接生成高性能的图神经网络，不需进行复杂的调参和搜索空间设计，比传统的扩散框架在生成高质量的图神经网络方面具有更好的表现。

May, 2024

基于动态因果解释的扩散 - 变分图神经网络用于时空预测

本文提出一种基于动态扩散变分图神经网络 (DVGNN) 的动态图构建方法，并在时序数据集上对 DVGNN 进行实验，证明它可以更好地反映动态图的因果关系和不确定性，达到更好的预测效果。

May, 2023

图变分扩散网络实现鲁棒节点表示学习

我们通过使用图神经网络（GNNs）进行节点表示学习，并结合高斯噪声来保护鲁棒性并减轻过度平滑问题，提出了一种名为 Graph Variational Diffusion Network（GVDN）的新型节点编码器。

Dec, 2023

基于图去噪的鲁棒图神经网络

这篇研究提出一种鲁棒的图神经网络实现方法，明确考虑了观察拓扑中的扰动，通过优化可学习参数和真实图形来解决非可微且受限制的优化问题，适用于各种类型的图形，并可整合关于扰动的先验信息。通过多个数值实验评估了该方法的性能。

Dec, 2023