在基于评分扩散模型中适应未知的低维结构
通过扩展扩散模型,使用扩散桥模型作为一种自然替代方法,该模型通过从数据中学习扩散桥分数并解决基于这些分数的(随机)微分方程,将一种分布映射到另一种分布,从而实现图像编辑等应用中纳入非随机噪声信息的目标。
Sep, 2023
通过解决数值上求解对数密度福克-普朗克方程以在训练之前计算分数来提高基于分数的扩散模型的训练效率,并将预先计算的分数嵌入到图像中以加快训练速度和减少图像数来学习准确分数,我们在数值实验中展示了我们提出方法相对于标准基于分数的扩散模型的改进性能,其意义上地以更快速度实现了类似的质量。
Apr, 2024
对于扩散模型的准确性进行了理论研究,通过梯度下降方法对去噪积分评分匹配的训练和采样过程进行了非渐近收敛分析,并提供了方差爆炸模型的抽样误差分析。通过这两个结果的结合,明确了如何设计有效生成的训练和采样过程。
Jun, 2024
本研究介绍了一种基于扩散过程的可逆学习方法,其核心在于学习其评分形式,用于估计科学系统的性质。我们引入一系列可计算的去噪评分匹配目标,称为局部-DSM,利用扩散过程的局部增量。我们展示了如何使用局部-DSM和泰勒展开进行自动训练和评分估计,用于非线性扩散过程。为了证明这些想法,我们使用自动-DSM在具有挑战性的低维分布和CIFAR10图像数据集上训练生成模型。此外,我们使用自动-DSM学习了在统计物理学中研究的非线性过程的评分。
Jul, 2024
本研究解决了扩散模型在生成建模中的收敛问题,提出了一种基于基本非渐近方法的概率流常微分方程采样器的收敛理论。研究表明,在满足最小假设条件下,使用$ \ell_2 $精确估计的Stein得分函数,经过$d/\varepsilon$次迭代即可将目标分布近似至$\varepsilon$的全变差距离,显著提高了对数据生成过程的理解。
Aug, 2024
本研究解决了扩散模型在面对高维图像数据时,如何有效学习其低维分布的问题。通过假设图像数据呈现低秩高斯混合分布,并将去噪自编码器参数化为低秩模型,研究表明优化扩散模型的训练损失与解决经典子空间聚类问题等价。这一发现揭示了扩散模型如何突破维度诅咒,并展现出在学习分布时的相变特性,从而为图像编辑提供了新的视角。
Sep, 2024
本研究针对现有扩散模型收敛理论中严格假设和次优收敛速度的问题,提出了一种新的快速收敛理论。通过确保$\ell_{2}$-准确的评分函数估计,该理论表明目标分布与生成分布之间的总变差距离上界为$O(d/T)$,对任何具有有限一阶矩的目标分布均适用,显著改进了现有的SDE和ODE模型收敛理论。
Sep, 2024
本研究针对当前扩散模型在高维数据分布中表现出的局限性进行了探讨,提出了在流形假设下分析去噪扩散概率模型的新方法。研究表明,这些模型在学习评分方面与环境维度无关,同时在采样时相对于Kullback-Leibler散度的速率也显著,具有潜在的理论与实际应用价值。
Sep, 2024