学习发散场以获得偏移鲁棒的图表示

ICMLJun, 2024

学习发散场以获得偏移鲁棒的图表示

Learning Divergence Fields for Shift-Robust Graph Representations

Qitian Wu, Fan Nie, Chenxiao Yang, Junchi Yan

TL;DR我们提出了一个可学习的发散场几何扩散模型来解决依赖关系数据的挑战性泛化问题。通过引入随机扩散性来广义扩散方程，旨在捕捉依赖关系数据之间的多方面信息流动。另外，通过因果推断导出了一种新的学习目标，可指导模型学习对不同领域中都无关的依赖关系模式。在实际实现方面，我们提出了三种模型实例化方法，分别被视为 GCN、GAT 和 Transformers 的广义版本，具有对分布偏移的高鲁棒性。我们在不同的真实数据集上展示了这些模型在超出分布的泛化上的有希望的有效性。

Abstract

real-world data generation often involves certain geometries (e.g., graphs) that induce instance-level interdependence. This characteristic makes the generalization of learning models more difficult due to the intricate interdependent patterns that impact data-generative distributions

real-world data geometric diffusion model interdependent data generalization problem causal inference

发现论文，激发创造

基于双曲几何的潜在扩散模型用于图生成

通过建立基于双曲几何的可解释度度量的几何潜变空间，使用径向和角度几何特性约束的几何潜变过程，HypDiff 框架能有效地捕捉和保留图的拓扑信息，并在各种拓扑结构的图生成中表现出卓越的效果。

May, 2024

图形在分布偏移下的泛化

通过引入图学习不变领域生成（GLIDER）的新框架，本文在节点级别的属性分布和拓扑结构分布的共同分布转变的情境下，实现了优于基准方法的节点级别 OOD 广义化跨域模型。

Mar, 2024

变分梯度流深度生成学习

提出 VGrow 框架来学习深度生成模型，通过 $f$-divergence 进行梯度流，使用 logD-trick GAN 来作为新的目标函数评估不同的散度，结果表明 VGrow 可以生成高保真图像并且表现优异。

Jan, 2019

将领域微分方程纳入图卷积网络以降低泛化差异

将域差分方程纳入图卷积网络（GCN）中可以提高空时预测的准确性和鲁棒性，我们提出了 Reaction-Diffusion Graph Convolutional Network（RDGCN）和 Susceptible-Infectious-Recovered Graph Convolutional Network（SIRGCN），它们基于可靠且可解释的域差分方程，能够适应不同的测试数据，并且相比于现有的深度学习方法具有更强的鲁棒性。

Apr, 2024

扩散中的多变外观：从时变几何到视觉显著性

本文研究了扩散模型的几何属性，介绍了生成率的概念和利用不同可微的方案估计生成率的方法，并提出了一种生成曲线匹配算法，为多种图像处理任务提供了统一框架，结果表明与最近的基线方法相比，我们的方法始终能产生更好的处理效果。

Jun, 2024

基于扩散模型的流场生成预测

我们提出了一种几何到流场扩散模型，利用障碍物形状预测障碍物后的流场。该模型基于可学习的马尔可夫转移核函数，从高斯分布中恢复数据分布。马尔可夫过程以障碍物几何形状为条件，在每一步估计需要消除的噪声，通过 U-Net 实现。交叉注意机制将几何形状作为提示集成进来。我们使用包括圆形、椭圆形、矩形和三角形在内的简单障碍物流数据集进行几何到流场扩散模型的训练，并以同一数据集训练 CNN 模型进行比较。对于简单和复杂几何形状的障碍物流场，进行插值和外推的测试。流场生成结果表明几何到流场扩散模型在预测瞬时流场和处理复杂几何形状方面优于 CNN 模型。对模型准确性和场中发散的定量分析表明扩散模型具有很高的鲁棒性，暗示扩散模型隐式地学习了物理规律。

Jun, 2024

图学习在分布偏移下的研究：领域自适应、离域和连续学习的综合调查

综述研究了图学习中的分布转变问题及解决方法，将现有的图学习方法分为图领域适应学习、图越域学习和图持续学习三种关键场景，详细讨论了这些场景下的现有进展，并对该领域进行了潜在应用和未来研究方向的分析。

Feb, 2024

扩散概率场

本文介绍了一种新的扩展 Diffusion probabilistic models 方法的方法 Diffusion Probabilistic Fields (DPF), 可用于在度量空间中学习定义为连续函数的概率分布，通过将场参数化作为一种显式形式来解决以前方法的问题。与以前的方法相比，DPF 在处理 2D 图像、3D 几何等不同模态以及定义在非欧几里德度量空间上的领域上的分布时表现出色。

Mar, 2023

图像神经场扩散模型

通过在图像神经场上训练扩散模型，我们可以学习连续图像的分布，并显示其在分辨率上的优势。我们提出了一种简单而有效的方法，可以将现有的潜在扩散自动编码器转换为图像神经场自动编码器。通过使用混合分辨率图像数据集对其进行训练，我们证明了图像神经场扩散模型优于固定分辨率扩散模型后跟超分辨率模型，并能高效地解决应用于不同尺度的逆问题。

Jun, 2024

演化图上 GNN 的微分几何视角与可解释性

通过使用公理化归因，我们提出了一种平滑参数化的图神经网络（GNN）预测分布，在一个高维嵌入空间中的低维流形上进行。我们利用微分几何观点在流形上建模分布演化，通过重新参数化流形上的曲线族并设计一个凸优化问题，找到一个独特的曲线，以简洁地近似分布演化，以供人类解释。对于具有演化图的节点分类、链路预测和图分类任务的大量实验证明了所提方法相对于现有技术方法的更好的稀疏性、忠实性和直观性。

Mar, 2024