Nov, 2023

通过小波框架增强图神经网络的迪利克莱能量

PDF
TL;DR通过引入 framelet 系统到 Dirichlet 能量分析并采用多尺度视角来缓解过度平滑问题，我们设计了 Energy Enhanced Convolution（EEConv），它是一种有效且实用的操作，被证明严格增强 Dirichlet 能量，并通过对异种图中的节点分类任务受益于多跳聚合特性。实验结果表明，具有 EEConv 的深度 GNN 在各种节点分类数据集上实现了最先进的性能，特别是对于异种图，同时增加了网络的 Dirichlet 能量。
graph convolutionsover-smoothing issuedirichlet energyframelet augmentationeeconv
发现论文，激发创造
  • 约束狄利克雷能量的深度图神经网络学习

    该论文分析了深度图神经网络的瓶颈问题以及提出了一种基于狄利克雷能量的通用原则，通过该原则设计了一种新型深度图神经网络框架 - EGNN，并在实验结果中取得了最新颖的表现。

    Jul, 2021

  • Framelets 如何优化图神经网络

    本文提出了一种基于框架变换的组装图神经网络的新方法，该方法将输入图分解成低通和高通频率系数用于网络训练，定义了一种基于框架的图卷积。使用此方法，图神经网络在节点和图预测任务中取得了最先进的性能，并且我们提出使用收缩作为框架卷积的新激活函数，与 ReLU 相比，收缩激活函数能够在降噪和信号压缩方面显著提高模型的性能。

    Feb, 2021

  • 拟框架波：图神经网络的另一项改进

    本文提出了一种新颖的多尺度框架卷积设计用于谱图神经网络，该方法集成了直接设计在谱域中的过滤函数以提高对嘈杂图信号的鲁棒性，有效地减轻了嘈杂信号的负面影响，并利用异构图神经网络和多级图分析，嵌入了元路径上的拓扑信息。在现实世界的异构图和同构图中的实验表明，该方法取得了优越的性能。

    Jan, 2022

  • 重新审视广义 p-Laplacian 正则化 Framelet GCNs: 收敛性， 能量动态和使用非线性扩散进行训练

    本文针对基于图 p - 拉普拉斯的框架网络（pL-UFG）进行了全面的理论分析，着重探讨了其性质，包括收敛分析、广义狄利克雷能量、隐式层动态能量等。研究表明，隐式层可以解释为广义非线性扩散过程，有利于使用多种方案进行训练。研究结果提供了实现 pL-UFG 的新思路，并促进了基于图的深度学习领域的发展。

    May, 2023

  • 图神经网络中过度平滑问题的注记

    本研究分析图神经网络在层数增加时出现的过度平滑现象，通过使用增广归一化拉普拉斯矩阵的频谱确定权重矩阵的条件，来说明当嵌入的狄利克雷能量收敛于零时，图嵌入的区分能力会丧失。通过使用狄利克雷能量来衡量嵌入的表达能力，可以得到比已有研究更简单的证明，并可处理更多的非线性问题。

    Jun, 2020

  • 深度卷积框架：逆问题的通用深度学习框架

    通过使用多层卷积框架来实现完美重建（PR）并符合矩形线性单元非线性（ReLU），本文提出了一种新的深度卷积框架神经网络的理论，并证明了这一发现表明深度学习的成功并不是来自于黑箱的魔力，而是来自于非局部基底的新型信号表示方法的力量，这种方法与数据驱动的局部基底的结合，实际上是传统信号处理理论的自然扩展。

    Jul, 2017

  • 一种用分数图拉普拉斯算子解决过度平滑问题的方法

    该文研究了图神经网络中过度平滑问题，并针对无向图将其概念推广至有向图，通过引入指向对称规范化拉普拉斯算子并提出分数图拉普拉斯神经 ODE 框架，实现了在节点间传播信息的同时缓解了过度平滑问题，证明了该方法的有效性并在合成和真实世界的有向无向图上进行了广泛实验。

    May, 2023

  • Framelet 消息传递

    本研究提出了一种基于多尺度小波变换的新型消息传递方法，即 Framelet Message Passing，并结合神经 ODE 求解器进行连续消息传递，证明了离散和连续情况均可实现网络稳定性和限制过度平滑，并在学习异构图时显著优于现有方法，在低计算成本下达到了经典节点分类任务的最新水平。

    Feb, 2023

  • 基于约束狄利克雷能量最小化的隐式图神经扩散

    设计基于参数化图拉普拉斯算子的隐式图扩散层，从而在节点和图分类任务中展现了强化的性能，通过减少超平滑问题，权衡平滑和节点特征信息的保持。

    Aug, 2023

  • 基于能量观点的图神经网络

    本文针对图结构数据的分类问题，提出了一种基于能量的图神经网络模型，并成功实现了该模型，通过实验发现它在鲁棒性方面比标准的图卷积网络有明显提升，为未来基于能量的图神经网络研究开辟了新的方向。

    Apr, 2021