扩散模型的泛化性

May, 2023

On the Generalization of Diffusion Model

Mingyang Yi, Jiacheng Sun, Zhenguo Li

TL;DR通过定义通用性测量，本文研究了扩散概率生成模型的泛化能力。我们发现确定性采样器生成的数据与训练集高度相关，因此泛化能力差。通过实验，我们验证了足够训练的扩散模型与经验最优解之间的微小区别对于模型具有关键性影响，并提出了另一个无潜在泛化问题的训练目标，该目标返回与原模型类似的模型，从而验证了训练扩散模型的泛化能力。

Abstract

The diffusion probabilistic generative models are widely used to generate high-quality data. Though they can synthetic data that does not exist in the training set, the rationale behind such generalization is sti

diffusion probabilistic generative models generalization mutual information deterministic sampler training objective

发现论文，激发创造

扩散模型的泛化特性研究

扩散模型在理论和实践中的广义化能力、一般化差距以及模型对模式变化的敏感性进行了全面的理论分析和定量分析，证明了其在样本大小和模型容量上具有多项式级别的小一般化误差，使得其非常适用于实际应用。

Nov, 2023

生成式扩散模型的理论研究综述

生成扩散模型的理论发展主要分为两种方法，基于训练和基于采样，将这些方法明确分类为研究者未来进行新发展提供清晰可理解的方向。

Apr, 2024

扩散模型中的可再现性和一致性的出现

扩散模型在图像生成、解决逆问题和文本到图像合成等各种应用中展示了领先的性能。我们揭示了与大多数其他生成模型截然不同的 “一致模型可重现性” 现象，通过广泛的实验表明，扩散模型在相同初始噪声输入和确定性求解器采样时，倾向于产生几乎相同的输出内容。此模型可重现性在不同的训练环境下均成立，包括记忆化和泛化模式。进一步的分析提供了对 “记忆化模式” 中模型可重现性的理论解释，并揭示此有价值的特性适用于许多扩散模型的变种。更深入理解此现象有可能产生基于扩散模型的更可解释和可控的数据生成过程。

Oct, 2023

最大偏离经验分布的保证最优生成建模

使用生成建模方法，本文提供了关于生成模型训练的理论洞察力，重点强调数据生成分布与训练数据生成分布之间的误差应随着样本量趋近无穷而趋近于零，并确保训练数据生成分布与任何复制训练数据样本的分布之间足够远。

Jul, 2023

物理相关扩散模型

通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

Mar, 2024

扩散模型概述：应用、引导生成、统计速率和优化

扩散模型是强大且通用的生成式人工智能技术，在计算机视觉、音频、强化学习和计算生物学等领域取得了巨大的成功。本文回顾了扩散模型的新兴应用，理解了它们在各种控制下的样本生成。同时，我们概述了现有的扩散模型理论，涵盖了它们的统计性质和采样能力。进一步地，我们评述了通过条件扩散模型进行高维结构化优化的新途径，将解决方案的搜索重新定义为条件采样问题，并通过扩散模型进行求解。最后，我们讨论了扩散模型的未来发展方向。本文旨在为刺激前瞻性的扩散模型理论和方法提供全面的理论介绍。

Apr, 2024

构建桥梁：理解和扩展扩散生成模型

本研究重新考虑扩散模型的总体框架，将其视为具有未观察到扩散轨迹的潜在变量模型，并应用于数据不受限制的领域。利用最大似然估计，我们表明模型构建和潜在路径的插补都可以构造扩散桥过程，实现端点的确定值和约束条件，并提供一套系统的研究和工具，进而提出了学习扩散生成模型的第一个理论误差分析和学习不同离散和受限领域数据的简单而统一的方法。实验证明，我们的方法在生成图像、语义分段和 3D 点云方面表现出色。

Aug, 2022

数据驱动的黑箱优化扩散模型

基于扩散模型的条件采样方法，在黑盒优化中生成接近最佳解且保留设计的潜在结构，通过建立理论模型和进行实验验证，证明了奖励导向扩散模型在黑盒优化中的效率和准确性。

Mar, 2024

扩增模型与检索中的数据增强视角

本文系统评估了扩散模型生成图像的现有方法，并研究了新的扩展方式以评估它们对数据增强的益处。作者发现，将扩散模型个性化到目标数据的方法优于简单的提示策略，但使用扩散模型的训练数据，通过简单的最近邻检索程序，直接提高下游性能。此项研究揭示了扩散模型在数据增强方面的局限性，同时也突显了其在生成新训练数据方面的潜力，以提高在简单的下游视觉任务中的性能。

Apr, 2023

概率扩散模型讲义

扩散模型通过训练大量数据点，利用逐渐添加随机噪声和逆扩散过程将数据样本从复杂分布转换为简单分布，并学习数据流形，优于其他方法（包括生成对抗网络）来建模自然图像等分布。

Dec, 2023