理解图上的扩散模型
本文介绍了一种基于数据的方法,用于学习适应底层网络拓扑特征的类特定扩散函数,从而改善扩散分类器的性能并提高分类准确性,超过了依赖于节点嵌入和深度神经网络的最先进方法。
Apr, 2018
本文提出了一种名为GDC的基于图扩散的图卷积方法,与传统的基于直接邻接节点的图卷积方法相比,它可以处理真实图中任意定义边界带来的噪点问题,并在各种图神经网络和其他基于图的算法中取得了显著的性能提升,同时不需要改变原算法的计算复杂度。
Oct, 2019
本文提出了一种名为方向扩散模型的新型模型,该模型在学习非等向性结构时比传统扩散模型更加有效,应用于无监督表示学习,并在12个公共数据集上的不同图表示学习任务中得到证明。
Jun, 2023
图扩散方程与图神经网络紧密相关,并近期引起关注,作为一种分析图神经网络动态、形式化其表达能力并证明架构选择的原则性框架。本文通过探索图扩散方程在不同图拓扑存在下的外推与概括能力,向理解图神经网络的泛化能力迈出了一步。在现有基于图局部扩散的模型中,我们首先展示了其泛化能力的不足之处,这源于对拓扑变化的指数敏感性。随后的分析揭示了非局部扩散的潜力,它提倡在具有特定数据生成条件的情况下,通过在完全连接的潜在图上进行特征传播。除了这些发现,我们提出了一种新颖的图编码器骨干,即Advective Diffusion Transformer (ADiT),它受到具有封闭形式解和理论保证的Advective图扩散方程的启发,在拓扑分布转移情况下具有期望的泛化能力。这个新模型作为一种多功能图Transformer,在各种图学习任务中展现出卓越的表现。
Oct, 2023
图神经网络(GNNs)在建模关系型数据方面表现出显著的潜力,并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递,其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解GNNs的优势和局限,并进而指导模型设计。最近,出现了大量使用连续动态学的GNNs的作品,旨在解决GNNs已知的局限性,如过度平滑和过度压缩。在这项调查中,我们首次系统全面地审查了使用连续动态学视角的研究。为此,我们介绍了适应GNNs的连续动态学的基本要素,以及对图神经动力学设计的一般框架。然后,我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典GNNs的局限性。最后,我们确定了多个开放的研究方向。
Oct, 2023
提出了一个带有准确性项的一般扩散方程框架,从而形式化地建立了扩散过程与更多图卷积网络之间的关系,并通过实验证明了高阶邻居标签之间的相似性特征,推动了新型图扩散网络(HiD-Net)的设计。
Dec, 2023
通过运算子半群理论,本论文探讨了扩散型图神经网络(GNNs)中的过平滑问题并证明了过平滑与扩散算子的遍历性相关。我们提出了一种普适且理论基础良好的方法来缓解扩散型GNNs中的过平滑问题,并对我们的理论进行了概率解释,从而与之前的研究建立关联并拓展了理论视野。实验结果显示,这种遍历性破坏项有效地缓解了通过Dirichlet能量度量的过平滑,并同时提升了节点分类任务的性能。
Feb, 2024
扩散模型是强大且通用的生成式人工智能技术,在计算机视觉、音频、强化学习和计算生物学等领域取得了巨大的成功。本文回顾了扩散模型的新兴应用,理解了它们在各种控制下的样本生成。同时,我们概述了现有的扩散模型理论,涵盖了它们的统计性质和采样能力。进一步地,我们评述了通过条件扩散模型进行高维结构化优化的新途径,将解决方案的搜索重新定义为条件采样问题,并通过扩散模型进行求解。最后,我们讨论了扩散模型的未来发展方向。本文旨在为刺激前瞻性的扩散模型理论和方法提供全面的理论介绍。
Apr, 2024