扩散图粒子系统用于生成建模

Apr, 2023

Diffusion map particle systems for generative modeling

Fengyi Li, Youssef Marzouk

TL;DR本文提出了一种新颖的扩散映射粒子系统（DMPS）用于生成建模，基于扩散映射和拉普拉斯调整的 Wasserstein 梯度下降 (LAWGD)，采用扩散映射来近似 Langevin 扩散过程的生成器从而学习潜在的数据生成流形，而 LAWGD 可通过合适的内核实现从目标分布进行高效采样。数值实验证明了我们方法在合成数据集上的优越性，包括具有流形结构的示例。

Abstract

We propose a novel diffusion map particle system (DMPS) for generative modeling, based on diffusion maps and Laplacian-adjusted Wasserstein gradient descent (LAWGD). Diffusion maps are used to approximate the generator of the Langevin diffusion process from samples, and hence to learn

diffusion map particle system generative modeling laplacian-adjusted wasserstein gradient descent data-generating manifold efficient sampling

发现论文，激发创造

使用扩散图进行稳定的生成建模

我们提出了一个结合扩散映射和兰格朗日动力学的生成模型，通过扩散映射近似训练样本的漂移项，并在离散时间的兰格朗日采样器中实现，以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配，我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验，我们验证了我们提出的方案的性能。

Jan, 2024

格点场论的生成扩散模型

该研究通过将生成扩散模型（DMs）与随机量子化与随机微分方程的角度链接，深入探讨了机器学习与晶格场论之间的联系。我们展示了 DMs 可以通过逆转由 Langevin 方程驱动的随机过程的方式进行概念化，从而生成来自初始分布的样本以近似目标分布。通过一个玩具模型，我们强调了 DMs 学习有效动作的能力。此外，我们展示了作为二维 Phi^4 量子晶格场论中生成配置的全局采样器的可行性。

Nov, 2023

通过扩散生成模型学习近似粒子平滑轨迹

从稀疏观测数据中学习动力系统是许多领域（包括生物学、金融学和物理学）的一个关键问题。这篇论文介绍了一种将条件粒子滤波与祖先采样和扩散模型相结合的方法，能够生成与观测数据相符合的逼真轨迹。该方法基于迭代条件粒子滤波与祖先采样生成匹配观测边缘概率的合理轨迹，并学习相应的扩散模型。该方法既为复杂约束下高质量、平滑的轨迹提供了一种生成方法，又有效近似了粒子平滑分布在经典跟踪问题中。我们在时间序列生成和插值任务上展示了该方法，包括车辆追踪和单细胞 RNA 测序数据。

Jun, 2024

通过奖励引导探索实现可控扩散模型

本文提出了一种名为 RGDM 的模型，通过强化学习（RL）引导扩散模型的训练阶段，从而实现对样本生成的控制。在 3D 形状和分子生成任务上的实验表明，该模型相较于现有的条件扩散模型具有显著的改进。

Apr, 2023

粒子去噪扩散采样器

利用新颖的评分匹配损失，我们提出了一种基于粒子迭代方案的粒子去噪扩散取样器（PDDS），它能够在温和假设下提供渐近一致的估计，我们在多模态和高维取样任务上演示了 PDDS。

Feb, 2024

向量扩散图和连接拉普拉斯算子

该论文介绍了一种新的数学框架 —— 向量扩散映射（VDM），用于处理大型高维数据集、图像和形状。它提供了为数据集组织、嵌入低维空间、插值和回归向量场等丰富工具，并将数据集与我们称之为 “向量扩散距离” 的指标相联系。在流形学习设置中，我们证明了 VDM 与流形上的向量场的连接 - 拉普拉斯算子之间的关系。

Feb, 2011

流形保持引导扩散

提出了 Manifold Preserving Guided Diffusion (MPGD)，实现了一种无需训练的条件生成框架，利用预训练扩散模型和现成的神经网络，具有最小的附加推断成本，适用于各种条件生成应用，提供了高样本品质和高达 3.8 倍的速度提升。

Nov, 2023

动力系统的扩散映射、谱聚类和反应坐标

本文研究数据分析中的低维数据表示问题，提出了一种名为扩散映射的算法，能够将复杂高维数据嵌入低维欧几里得空间，从而实现长时间演化系统的高效识别与聚类分析。

Mar, 2005

基于频谱扩散的图生成

本文介绍了 GRASP 模型，这是一种基于图拉普拉斯矩阵的频谱分解和扩散过程的新颖的图生成模型。我们使用去噪模型从图上采样特征向量和特征值，通过它们可以重构图拉普拉斯矩阵和邻接矩阵。该模型能够处理节点特征，并利用拉普拉斯谱自然地捕捉图的结构特性，在避免其他方法的二次复杂度限制的同时，直接在节点空间中进行操作。我们的实验结果表明，通过截断谱，我们的模型能够更快速而准确地进行生成过程，相对于其他现有方法具有较强的优势。

Feb, 2024

3D 点云生成的扩散概率模型

本文提出了一个概率模型，将点云看作是处于非平衡热力学系统内的粒子，并通过扩散过程学习将噪声分布转换为所需形状分布的逆扩散过程，即点云生成过程。具体地，将点云的逆扩散过程建模为一个以某个形状因子为条件的马尔科夫链，并提供了闭合形式的变分下界以进行训练。实验结果显示，该模型在点云生成和自编码方面具有竞争性能。

Mar, 2021