图生成的离散扩散模型的稀疏训练
本文提出了一种名为 EDGE 的新型扩散生成图模型,通过在每个时间步骤随机删除边并最终获得空图的离散扩散过程,鼓励图结构的稀疏性,使其更有效率地生成包含上千节点的大型图,并明确将图中节点度数建模,与基线模型相比,生成的图像质量更高,具有更相似的图统计特征。
May, 2023
本文介绍了 GRASP 模型,这是一种基于图拉普拉斯矩阵的频谱分解和扩散过程的新颖的图生成模型。我们使用去噪模型从图上采样特征向量和特征值,通过它们可以重构图拉普拉斯矩阵和邻接矩阵。该模型能够处理节点特征,并利用拉普拉斯谱自然地捕捉图的结构特性,在避免其他方法的二次复杂度限制的同时,直接在节点空间中进行操作。我们的实验结果表明,通过截断谱,我们的模型能够更快速而准确地进行生成过程,相对于其他现有方法具有较强的优势。
Feb, 2024
我们提出了一种基于扩散的图生成模型,通过定义在离散图空间中操作的节点吸收扩散过程,设计了扩散排序网络和去噪网络,从而实现了更好或相当的生成性能,并且具有快速的生成速度。
Jul, 2023
该论文提出了一种基于图谱扩散的高效而有效的 Graph Spectral Diffusion Model (GSDM),相较于基于整个图邻接矩阵空间的扩散模型,该模型能够更好地学习生成拓扑结构更好的图数据,而实验结果表明该模型不仅可以生成质量更高、而且计算消耗也更小。
Nov, 2022
本文提出了离散去噪扩散概率模型(D3PM),用于离散数据的扩散式生成模型,包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要,且提出的新损失函数在字符级别文本生成上取得了很好的效果。
Jul, 2021
本文中提出了 SaGess,一种用于生成大规模真实世界网络的离散去噪扩散方法,能够通过扩大扩散模型并使用分治框架来生成较大的图形,并通过任务驱动模型,即链接预测,在评估合成数据集方面取得了较好的效果。
Jun, 2023
本文提出了一种基于扩散 LMS 策略的自适应网络分布式估计方法,利用凸正则化增强扩散过程中的稀疏性检测,使网络具备学习能力和实时学习稀疏结构的能力,并演示了该方法在稀疏数据恢复方面的优势。
Jun, 2012
我们提出了一种基于改进的直通估计器的方法来提高扩散模型的部署效率,通过在预训练的扩散模型中添加稀疏掩码,使用渐进稀疏设计进行模型训练,在微调阶段开关推断掩码,以便根据 FID 和 MACs 的要求在推断期间灵活选择稀疏度。基于一种最先进的基于 Transformer 的扩散模型,在四个数据集上的实验证明我们的方法将 MACs 减少了 50%,而 FID 仅增加了 1.5,与其他方法相比,在其他 MACs 条件下,FID 也低于 1 到 137。
Apr, 2024
本文介绍了 DiGress,一种用于生成具有分类节点和边缘属性的图形的离散去噪扩散模型。通过逐步添加或删除边缘和更改类别的过程,我们的模型利用离散扩散过程逐步编辑具有噪声的图形。同时,我们还提出了一种控制生成过程的图级特征的程序,并使用了马尔可夫噪声模型和辅助图理论特征,进一步提高了样本质量。DiGress 在分子和非分子数据集上取得了最先进的性能,在平面图数据集上有效性提高了 3 倍。此外,该模型是首个能够不使用分子特定表示就能扩展到包含 130 万药物分子的大型 GuacaMol 数据集的模型。
Sep, 2022
我们的研究引入了 Graph Beta Diffusion(GBD),一种特别擅长捕捉多样化图结构的扩散生成模型。GBD 利用了适用于图邻接矩阵的稀疏和有界特征的 Beta 扩散过程,并开发了调制技术来增强生成图的现实感,同时在其他地方保持灵活性。GBD 在三个通用图基准和两个生物化学图基准中的出色性能突显了其有效捕捉现实世界图数据复杂性的能力。
Jun, 2024