具有随机相位的生成建模
本研究重新考虑扩散模型的总体框架,将其视为具有未观察到扩散轨迹的潜在变量模型,并应用于数据不受限制的领域。利用最大似然估计,我们表明模型构建和潜在路径的插补都可以构造扩散桥过程,实现端点的确定值和约束条件,并提供一套系统的研究和工具,进而提出了学习扩散生成模型的第一个理论误差分析和学习不同离散和受限领域数据的简单而统一的方法。实验证明,我们的方法在生成图像、语义分段和3D点云方面表现出色。
Aug, 2022
该论文提出了一种基于 curvature minimization 的有效的 ODE / SDE 学习方法,能够在不需要多次神经网络评估的情况下减少生成轨迹的曲率,从而减少采样成本并保持了竞争性性能。
Jan, 2023
本文主要研究了扩散模型在计算机视觉中的应用,比较和分析了基于ODE和SDE的概率流和扩散模型在不同情况下的性能差异,研究表明,对于特定的脉冲形状误差,扩散系数越大,使用SDE模型生成样本的误差就会指数级下降,并且变化扩散系数可以提高样本质量。
Jun, 2023
通过扩展扩散模型,使用扩散桥模型作为一种自然替代方法,该模型通过从数据中学习扩散桥分数并解决基于这些分数的(随机)微分方程,将一种分布映射到另一种分布,从而实现图像编辑等应用中纳入非随机噪声信息的目标。
Sep, 2023
引入反射谢尔宾格算法: 一种在多样有界域中生成数据的熵正则化的最优传递方法,通过反演的前后向随机微分方程与诺依曼和罗宾边界条件相结合,扩展基于散度的封闭域似然训练,并探索与熵正则化最优传送的自然联系,用于近似线性收敛的研究——这对实际训练是非常有价值的见解。该算法在多样有界域中产生强大的生成模型,并通过标准图像基准测试展示其可扩展性。
Jan, 2024
我们提出了一个结合扩散映射和兰格朗日动力学的生成模型,通过扩散映射近似训练样本的漂移项,并在离散时间的兰格朗日采样器中实现,以生成新样本。通过设置核带宽与未调整的兰格朗日算法中使用的时间步长相匹配,我们的方法有效地解决了通常与时间步长严重随机微分方程相关的稳定性问题。我们的框架可自然地扩展到生成条件样本。通过对合成数据集和随机子网格尺度参数化条件采样问题进行实验,我们验证了我们提出的方案的性能。
Jan, 2024
本文介绍了一种投影生成扩散模型(PGDM),通过对约束优化问题的迭代投影方法,使生成的数据忠实地遵循指定的约束条件或物理原理,并在复杂非凸约束和常微分方程的情况下进行了大量的理论和实证支持,展示了在视频生成中的物理信息运动、路径规划中的轨迹优化以及材料科学中形态特性的遵循等方面的能力。
Feb, 2024
扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中,我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹,并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用,无论生成的内容是什么。我们还描述了一种基于动态规划的方案,使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改,并且在计算成本几乎可忽略的情况下,能够在图像生成中提供卓越的性能,特别是在5到10个函数评估中。
May, 2024
扩展基于扩散的算法到函数空间,我们提出了一种适用于无限维空间的随机最优控制(SOC)理论。该理论通过引入Doob的h-变换,从SOC的视角推导并扩展至无限维空间,并提出了两个应用:无限维分布间的桥接学习和采样的生成模型。该方法对于包括连续函数空间表示的各种问题,如无分辨率图像、时间序列数据和概率密度函数,都证明了其有效性。
May, 2024