面向图表示学习的定向扩散模型
这篇论文提出了一种新的图神经网络架构——图各向异性扩散,旨在通过线性扩散和局部各向异性滤波器交替使用来获取高效的多跳各向异性内核,用于分子性质预测任务中,其性能有竞争力。
Apr, 2022
本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾,包括在领域中的理论和实际贡献,提供了三种通用扩散建模框架,并介绍了扩散模型与其他深度生成模型之间的关系,并引入了在计算机视觉中应用扩散模型的多个视角分类,最后,我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。
Sep, 2022
本论文总结了扩散模型在图像生成方面的成功,并介绍了扩散模型在图生成方面的应用,特别是从分子和蛋白质建模方面进行了重点讨论,并讨论了扩散模型在图结构数据中的新方向。
Feb, 2023
本文调查了图扩散模型的进展,特别关注了其在AI生成内容方面的应用,主要是分子、蛋白质和材料设计。我们也讨论了评估该模型在图领域的存在挑战问题。
Apr, 2023
我们提出了一种基于扩散的图生成模型,通过定义在离散图空间中操作的节点吸收扩散过程,设计了扩散排序网络和去噪网络,从而实现了更好或相当的生成性能,并且具有快速的生成速度。
Jul, 2023
图扩散方程与图神经网络紧密相关,并近期引起关注,作为一种分析图神经网络动态、形式化其表达能力并证明架构选择的原则性框架。本文通过探索图扩散方程在不同图拓扑存在下的外推与概括能力,向理解图神经网络的泛化能力迈出了一步。在现有基于图局部扩散的模型中,我们首先展示了其泛化能力的不足之处,这源于对拓扑变化的指数敏感性。随后的分析揭示了非局部扩散的潜力,它提倡在具有特定数据生成条件的情况下,通过在完全连接的潜在图上进行特征传播。除了这些发现,我们提出了一种新颖的图编码器骨干,即Advective Diffusion Transformer (ADiT),它受到具有封闭形式解和理论保证的Advective图扩散方程的启发,在拓扑分布转移情况下具有期望的泛化能力。这个新模型作为一种多功能图Transformer,在各种图学习任务中展现出卓越的表现。
Oct, 2023
我们提出了第一个框架,允许使用一个模型解决所有级别(节点、边和图)和所有类型(生成、回归和分类)的图学习任务。我们首先提出了潜在图扩散(LGD),它是一个生成模型,可以同时生成所有类别的节点、边和图级特征。我们通过将图结构和特征嵌入到潜在空间中,并利用一个强大的编码器对其进行解码,然后在潜在空间中训练扩散模型来实现这个目标。LGD还能够通过一个特殊设计的交叉注意机制进行条件生成。然后,我们将包括回归和分类在内的预测任务制定为(条件)生成,使我们的LGD能够解决所有级别和所有类型的任务,并提供可证明的保证。通过广泛的实验证明了我们框架的有效性,其中我们的模型在生成和回归任务中达到了最先进或极具竞争力的结果。
Feb, 2024
我们的研究引入了Graph Beta Diffusion(GBD),一种特别擅长捕捉多样化图结构的扩散生成模型。GBD利用了适用于图邻接矩阵的稀疏和有界特征的Beta扩散过程,并开发了调制技术来增强生成图的现实感,同时在其他地方保持灵活性。GBD在三个通用图基准和两个生物化学图基准中的出色性能突显了其有效捕捉现实世界图数据复杂性的能力。
Jun, 2024
本研究聚焦于扩散模型在图中的理解,填补了理论与应用之间的空白。通过对不同扩散和采样技术的实证研究,探讨了噪声、采样方法的选择及神经网络 approximating 函数的复杂性对模型表现的影响。研究结果将有助于深化对扩散模型的理解,并推动其在图机器学习中的应用。
Aug, 2024
本研究解决了传统图拉普拉斯在捕捉异质图长距离信息方面存在的局限性。提出了一种新的参数化拉普拉斯矩阵,能够灵活控制节点间的扩散距离,从而改善长距离信息的捕捉能力。实验证明,所提出的模型在多个真实世界基准数据集上显著优于现有最先进模型,显示出其强大的适应性与实用性。
Sep, 2024