构建桥梁：理解和扩展扩散生成模型

Aug, 2022

构建桥梁：理解和扩展扩散生成模型

Let us Build Bridges: Understanding and Extending Diffusion Generative Models

Xingchao Liu, Lemeng Wu, Mao Ye, Qiang Liu

TL;DR本研究重新考虑扩散模型的总体框架，将其视为具有未观察到扩散轨迹的潜在变量模型，并应用于数据不受限制的领域。利用最大似然估计，我们表明模型构建和潜在路径的插补都可以构造扩散桥过程，实现端点的确定值和约束条件，并提供一套系统的研究和工具，进而提出了学习扩散生成模型的第一个理论误差分析和学习不同离散和受限领域数据的简单而统一的方法。实验证明，我们的方法在生成图像、语义分段和 3D 点云方面表现出色。

Abstract

diffusion-based generative models have achieved promising results recently, but raise an array of open questions in terms of conceptual understanding, theoretical analysis, algorithm improvement and extensions to discrete, structured, non-Euclidean domains. This work tries to re-exam t

diffusion-based generative models latent variable models maximum likelihood estimation diffusion bridge processes learning on data

发现论文，激发创造

用于生成学习的潜在 Schr {ö} dinger 桥扩散模型

通过在潜空间中利用 Schr {"o} dinger bridge 扩散模型构建新的生成学习方法，本文对当前扩散模型进行了全面的理论分析，包括利用预训练的编码器 - 解码器架构和 Schr {"o} dinger bridge 框架开发了潜空间中的扩散模型，通过控制生成分布和目标分布之间的二阶 Wasserstein 距离，获得了收敛速率，从而为现有的扩散模型提供了稳健的理论支持。

Apr, 2024

结构部件设计的潜在扩散模型

该论文提出了一个用于生成结构组件设计的框架，利用潜在扩散模型生成满足一系列问题特定加载条件的潜在设计，从而具有编辑现有设计的优势。通过使用结构拓扑优化得到的几何数据集进行训练，我们的框架生成了近乎最优的设计，并提供了定量结果支持生成设计的结构性能和潜在候选设计的变化性，以及框架的可扩展性的证据。此框架可用作生成类似拓扑优化设计的新近乎最优设计的起点。

Sep, 2023

生成式扩散模型综述

本文介绍了扩散模型领域的现状，并提出了改进现有问题的技术，包括模型速度提升、数据结构多样化、可能性优化和维数减少等。此外，还介绍了扩散模型的应用，包括计算机视觉、序列建模、音频和科学人工智能。

Sep, 2022

具有潜态扩散的生成模型采样与推断的理论保证

本文介绍和研究了一类概率生成模型，其中潜在对象是有限时间间隔上的有限维扩散过程，观察变量是在扩散的终端点条件下绘制的。通过随机控制的视角，我们为这种生成模型的采样和变分推断提供了统一的观点，并量化了基于扩散的生成模型的表现力。我们最后提出并分析了一个无偏模拟的方案，并提供了结果估计值的方差上限。这个方案可以实现为深度生成模型并具有随机层数。

Mar, 2019

概率扩散模型讲义

扩散模型通过训练大量数据点，利用逐渐添加随机噪声和逆扩散过程将数据样本从复杂分布转换为简单分布，并学习数据流形，优于其他方法（包括生成对抗网络）来建模自然图像等分布。

Dec, 2023

降噪扩散桥模型

通过扩展扩散模型，使用扩散桥模型作为一种自然替代方法，该模型通过从数据中学习扩散桥分数并解决基于这些分数的（随机）微分方程，将一种分布映射到另一种分布，从而实现图像编辑等应用中纳入非随机噪声信息的目标。

Sep, 2023

镜像扩散模型

通过镜像扩散模型 (Mirror Diffusion Models, MDMs) 向离散分类数据应用镜像 Langevin 算法，本文提出了对连续域进行解释的一种理论框架，并在图像和文本生成等领域进行了实证研究。

Aug, 2023

语言生成的潜在扩散

该研究论文讨论了扩散模型在离散领域（如语言）的应用，提出将扩散模型作为基于预训练语言模型的生成算法的辅助方法，并通过在预训练的编码器 - 解码器模型的潜在空间中学习连续的潜在扩散模型，演示了其在从数据分布中生成文本方面的有效性。最终提出的潜在扩散模型不仅在生成新颖文本方面优于强有力的自回归基线，还支持可控的生成。

Dec, 2022

扩散模型的泛化特性研究

扩散模型在理论和实践中的广义化能力、一般化差距以及模型对模式变化的敏感性进行了全面的理论分析和定量分析，证明了其在样本大小和模型容量上具有多项式级别的小一般化误差，使得其非常适用于实际应用。

Nov, 2023

通过结构化偏好生成改进离散扩散模型

通过引入结构化的前向过程，改进离散扩散模型，提高对离散数据类型的生成性能。

May, 2024