Oct, 2023

流动扩散变压器在图学习中的拓扑泛化

PDF
TL;DR图扩散方程与图神经网络紧密相关，并近期引起关注，作为一种分析图神经网络动态、形式化其表达能力并证明架构选择的原则性框架。本文通过探索图扩散方程在不同图拓扑存在下的外推与概括能力，向理解图神经网络的泛化能力迈出了一步。在现有基于图局部扩散的模型中，我们首先展示了其泛化能力的不足之处，这源于对拓扑变化的指数敏感性。随后的分析揭示了非局部扩散的潜力，它提倡在具有特定数据生成条件的情况下，通过在完全连接的潜在图上进行特征传播。除了这些发现，我们提出了一种新颖的图编码器骨干，即 Advective Diffusion Transformer (ADiT)，它受到具有封闭形式解和理论保证的 Advective 图扩散方程的启发，在拓扑分布转移情况下具有期望的泛化能力。这个新模型作为一种多功能图 Transformer，在各种图学习任务中展现出卓越的表现。
graph diffusion equationsgraph neural networksgeneralization capabilitiesgraph topologiesadvective diffusion transformer
发现论文，激发创造
  • ADR-GNN：对流 - 扩散 - 反应图神经网络

    本文提出了一种基于对流 - 扩散 - 反应系统的新型图神经网络 (ADR-GNN)，在实际节点分类和时空数据集上的评估表明，ADR-GNN 在性能上改进或与最先进的网络具有竞争性。

    Jul, 2023

  • 学习在图上近似自适应核卷积

    基于扩散核的扩散学习框架在图神经网络中控制了特征聚合范围，解决了节点级分类和过度平滑化的问题，并具备在阿尔茨海默病分类中实际应用的可行性。

    Jan, 2024

  • 在连续图扩散函数空间中重新思考和重新设计图神经网络

    本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力，并采用总变差方法对图扩散模式与社区拓扑进行对齐，最后构建了一种能够预测图中传播流的生成对抗网络。最终，我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。

    Jul, 2023

  • 图上的广义神经扩散框架

    提出了一个带有准确性项的一般扩散方程框架，从而形式化地建立了扩散过程与更多图卷积网络之间的关系，并通过实验证明了高阶邻居标签之间的相似性特征，推动了新型图扩散网络（HiD-Net）的设计。

    Dec, 2023

  • 测试时图变换增强图表示学习

    本文提出了一种名为 GTrans 的图形变换框架，通过在测试时自适应和改进图形数据，从数据角度来解决图神经网络（GNN）所面临的数据质量问题，经实验表明，GTrans 在改善性能方面表现最佳。

    Oct, 2022

  • GREAD：图神经反应 - 扩散网络

    本研究提出了一种名为 GREAD 的基于反应扩散方程的 GNN 方法，它考虑了所有流行的反应类型以及我们设计的一种特殊反应方程。在 9 个数据集和 28 个基线的实验中，我们的方法在大多数情况下都优于它们。进一步的合成数据实验表明，它缓解了过度平滑问题，并可用于各种同质化率。

    Nov, 2022

  • 增强扩散以提高强健性泛化能力

    本文提出了一种名为 Diffusion Enhanced Adversarial Training (DEAT) 的新方法，以改善 Adversarial Training 中的 generalization 问题，理论上证明了 DEAT 比主要 AT 框架 ——Projected Gradient Descent Adversarial Training (PGD-AT) 更紧密的泛化界限，并通过广泛的实证调查证实了 DEAT 的优越性。

    Jun, 2023

  • 适应性扩散实现可扩展的图学习

    本文介绍了一种基于数据的方法，用于学习适应底层网络拓扑特征的类特定扩散函数，从而改善扩散分类器的性能并提高分类准确性，超过了依赖于节点嵌入和深度神经网络的最先进方法。

    Apr, 2018

  • 基于拓扑的循环神经网络用于扩散预测

    研究了在图上使用表示学习来辅助信息扩散预测的问题。引入了一种新的数据模型 diffiusion topologies，设计了 Topo-LSTM 来模拟动态有向无环图，并在真实数据中表现出优异的表现。

    Nov, 2017

  • 图神经聚合 - 扩散与亚稳态

    基于微分方程的连续图神经模型拓展了图神经网络的架构，通过聚合 - 扩散方程启发的 GRADE 模型在非线性扩散和聚合之间找到了一种微妙的平衡，通过产生亚稳态节点表示聚集成多个聚类，从而缓解了过度平滑的问题，该模型达到了竞争性的性能，证明了其在图神经网络中减轻过度平滑问题的作用。

    Mar, 2024