基于约束狄利克雷能量最小化的隐式图神经扩散

Aug, 2023

基于约束狄利克雷能量最小化的隐式图神经扩散

Implicit Graph Neural Diffusion Based on Constrained Dirichlet Energy Minimization

Guoji Fu, Mohammed Haroon Dupty, Yanfei Dong, Lee Wee Sun

TL;DR设计基于参数化图拉普拉斯算子的隐式图扩散层，从而在节点和图分类任务中展现了强化的性能，通过减少超平滑问题，权衡平滑和节点特征信息的保持。

Abstract

implicit graph neural networks (GNNs) have emerged as a potential approach to enable GNNs to capture long-range dependencies effectively. However, poorly designed implicit GNN layers can experience over-smoothing or may have limited adaptability to learn data geometry, potentially hind

implicit graph neural networks geometric framework graph diffusion layers dirichlet energy minimization node and graph classification

发现论文，激发创造

约束狄利克雷能量的深度图神经网络学习

该论文分析了深度图神经网络的瓶颈问题以及提出了一种基于狄利克雷能量的通用原则，通过该原则设计了一种新型深度图神经网络框架 - EGNN，并在实验结果中取得了最新颖的表现。

Jul, 2021

优化引导的图隐式非线性扩散

本文提出了一种新的图卷积方法 Graph Implicit Nonlinear Diffusion (GIND)，通过自适应聚合具有非线性扩散的特征来防止过度平滑，并以明确的凸优化目标的最小化表示所学到的表示。实验表明，GIND 在捕获长程依赖方面表现出色，并在节点级和图级任务上取得了显着的改进。

Jun, 2022

隐式图神经网络

本文提出了一种名为 “Implicit Graph Neural Networks（IGNN）” 的图学习框架，其利用 Perron-Frobenius 理论来确保该框架的良好性，并利用隐式微分得到一种可行的投影梯度下降法来训练该框架，实验证明 IGNN 可以稳定捕捉长程依赖并优于现有的 GNN 模型。

Sep, 2020

一种用分数图拉普拉斯算子解决过度平滑问题的方法

该文研究了图神经网络中过度平滑问题，并针对无向图将其概念推广至有向图，通过引入指向对称规范化拉普拉斯算子并提出分数图拉普拉斯神经 ODE 框架，实现了在节点间传播信息的同时缓解了过度平滑问题，证明了该方法的有效性并在合成和真实世界的有向无向图上进行了广泛实验。

May, 2023

学习在图上近似自适应核卷积

基于扩散核的扩散学习框架在图神经网络中控制了特征聚合范围，解决了节点级分类和过度平滑化的问题，并具备在阿尔茨海默病分类中实际应用的可行性。

Jan, 2024

高效有效的隐式动态图神经网络

Implicit Dynamic Graph Neural Network (IDGNN) 是一种针对动态图的新型隐式神经网络模型，通过提出一个等价的双层优化问题和一种高效的单循环训练算法来克服计算上的困难，以在分类和回归任务中展现出优于现有模型的性能，并在性能保持的同时获得高达 1600 倍的加速。

Jun, 2024

图神经网络中过度平滑问题的注记

本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

Jun, 2020

在连续图扩散函数空间中重新思考和重新设计图神经网络

本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力，并采用总变差方法对图扩散模式与社区拓扑进行对齐，最后构建了一种能够预测图中传播流的生成对抗网络。最终，我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。

Jul, 2023

图神经网络作为梯度流：通过能量理解图卷积

将 Gradient flows 用于 Graph Neural Networks 的形式体系上，提供了一种物理学启发式的解释：将 GNN 视为 “在特征空间中学习粒子动力学”，并证明了正 / 负特征通道混合矩阵的特征值对应相邻特征之间的引力 / 排斥力，这使得 GNN 能够处理不同特征的异质性图。

Jun, 2022

使用近似梯度下降学习图神经网络

该论文提供了第一个针对具有一个隐层节点信息卷积的图神经网络（GNN）的可证明有效的学习算法，并开发了一种综合性框架来设计和分析 GNN 训练算法的收敛性。提出的算法适用于各种激活函数，包括 ReLU，Leaky ReLU，Sigmoid，Softplus 和 Swish，并对样本复杂度进行了特征化。数值实验进一步验证了理论分析。

Dec, 2020