用连续扩散过程作为图上深度学习的方法，将 Graph Neural Networks (GNNs) 视为潜在 PDE 的离散化，从而得到了一种新的 GNN 模型，该模型采用时空算子离散化，解决了图学习模型中的深度、平滑过渡和瓶颈等问题。通过稳定性分析，可以得到线性和非线性版本的 GRAND 模型，这些模型能够在许多标准图标准测试中取得很好的效果。

Jun, 2021

通过将深度视为连续时间嵌入演化的方法，我们在本文中解耦了超椭圆图神经网络 (HGNN) 并将信息传播重新构造为偏微分方程 (Partial Differential Equation, PDE)，让节点注意力承担超椭圆神经 PDE (Hyperbolic Neural PDE, HPDE) 中的传导性作用。通过引入理论原则，如非欧几里得流形上的场和流、梯度、散度和传导性，我们讨论了用于形成数值 HPDE 解算器的隐式和显式离散化方案。进一步，我们提出了超椭圆图扩散方程 (Hyperbolic Graph Diffusion Equation, HGDE) - 这是一个灵活的矢量流函数，它可以集成以获得表达力强的超椭圆节点嵌入。通过分析嵌入的潜在能量衰减，我们证明了 HGDE 能够模拟低阶和高阶近邻关系，并具有局部 - 全局传导函数的好处。节点分类和链路预测以及图像 - 文本分类任务的实验证明了所提方法的优越性，其性能始终显著优于各种竞争模型。

Jun, 2024

研究了非线性拉普拉斯在 Sheaf 神经网络中的引入对图相关任务的潜在好处，重点在于理解这种非线性对扩散动力学、信号传播和离散时间设置中神经网络架构性能的影响。通过使用真实和合成数据集验证不同模型版本的实际有效性，该研究主要强调了实验分析。此方法将焦点从最初的理论探索转移到了证明所提模型的实际实用性。

Mar, 2024

Graph-structured data learning using BuNN, a type of GNN that operates through message diffusion over flat vector bundles and universal node-level expressivity, achieves state-of-the-art results on various real-world tasks.

May, 2024

基于微分方程的连续图神经模型拓展了图神经网络的架构，通过聚合 - 扩散方程启发的 GRADE 模型在非线性扩散和聚合之间找到了一种微妙的平衡，通过产生亚稳态节点表示聚集成多个聚类，从而缓解了过度平滑的问题，该模型达到了竞争性的性能，证明了其在图神经网络中减轻过度平滑问题的作用。

Mar, 2024

通过神经网络梯度下降在 Riemannian 度量空间中建立流的理论，以近似 Calabi-Yau 度量为动机，并且通过理解神经网络空间中的流进而实现。通过推导相应的度量流方程，我们发现其受到度量神经切向核的控制，这是一个在时间中演化的复杂的非局部对象。然而，许多体系结构可以进行无限宽度的极限，其中核固定且动力学简化。额外的假设可以引入流动的局部性，从而实现 Perelman 的 Ricci 流形式，该流形式曾被用于解决 3D Poincaré 猜想。我们将这些思想应用于数值 Calabi-Yau 度量，包括对特征学习重要性的讨论。

Oct, 2023

传统扩散模型通常依赖于固定的前向过程，本文引入神经流扩散模型（NFDM），通过支持更广泛的前向过程以及提出一种新颖的参数化技术来增强扩散模型，实现了无需模拟的端到端优化目标，从而有效地最小化负对数似然的变分上界。实验证据显示 NFDM 具有出色的性能，表现为最先进的似然估计。此外，我们还研究了 NFDM 在学习具有特定特征的生成动态，如确定性直线轨迹方面的潜力，这一探索彰显了 NFDM 的多样性和广泛应用潜力。

Apr, 2024

传播模型是生成任务中表现出色的模型，然而大部分传播模型仅允许对数据分布进行线性变换，相比之下，更广泛的转换可能有助于更高效地训练生成分布并消除真实负对数似然和变分近似之间的差距。在本文中，我们介绍了神经传播模型 (NDMs)，这是传统传播模型的泛化，可以定义和学习数据的时间相关的非线性转换。我们展示了如何在无需模拟的情况下使用变分上界来优化 NDMs。此外，我们导出了 NDMs 的时间连续形式，可以使用现成的数值 ODE 和 SDE 求解器进行快速可靠的推断。最后，我们通过在标准图像生成基准测试上的实验，包括 CIFAR-10、ImageNet 的降采样版本和 CelebA-HQ，展示了可学习转换的 NDMs 的实用性。NDMs 在似然度和生成高质量样本方面优于传统传播模型。

Oct, 2023

建议了一个统一理论框架，将基于得分的扩散模型和生成对抗网络合并起来，提出了一个名为 “鉴别器去噪扩散流” 的新 SDE，通过调整不同得分项之间的相对权重，可以在 SDMs 和 GANs 之间实现平滑转换，同时保持边际分布不变，提供了新的算法，并具有在高样本质量和快速采样速度之间实现灵活权衡的潜力。

Jul, 2023

本文介绍了基于随机微分方程的扩散归一化流生成建模新方法 —— 扩散归一化流算法。该算法使用两个神经 SDE：一个前向 SDE 和一个后向 SDE，通过联合训练两个神经 SDE，将后向 SDE 收敛于一种扩散过程，从而具备更好的高维数据密度估计和图像生成性能。

Oct, 2021