非交叉扩散的语义一致性
传播模型是生成任务中表现出色的模型,然而大部分传播模型仅允许对数据分布进行线性变换,相比之下,更广泛的转换可能有助于更高效地训练生成分布并消除真实负对数似然和变分近似之间的差距。在本文中,我们介绍了神经传播模型 (NDMs),这是传统传播模型的泛化,可以定义和学习数据的时间相关的非线性转换。我们展示了如何在无需模拟的情况下使用变分上界来优化 NDMs。此外,我们导出了 NDMs 的时间连续形式,可以使用现成的数值 ODE 和 SDE 求解器进行快速可靠的推断。最后,我们通过在标准图像生成基准测试上的实验,包括 CIFAR-10、ImageNet 的降采样版本和 CelebA-HQ,展示了可学习转换的 NDMs 的实用性。NDMs 在似然度和生成高质量样本方面优于传统传播模型。
Oct, 2023
本文介绍了基于随机微分方程的扩散归一化流生成建模新方法 —— 扩散归一化流算法。该算法使用两个神经 SDE:一个前向 SDE 和一个后向 SDE,通过联合训练两个神经 SDE,将后向 SDE 收敛于一种扩散过程,从而具备更好的高维数据密度估计和图像生成性能。
Oct, 2021
该研究发展了一套用于理解离散时间下扩散模型数据生成过程的非渐进理论,对于一种常见的确定性采样方法,该理论建立了一个与步骤总数 $T$ 成反比例的收敛速率,对于另一种主流随机采样方法,该理论得出了一个与步骤总数 $T$ 的平方根成反比例的收敛速率,同时设计了两种加速变体,进一步提高了收敛速度。
Jun, 2023
该研究论文介绍了 TS-Diffusion,一个通用模型,适用于处理具有采样不规则性、缺失值和大型特征 - 时间维度等复杂性的时间序列,通过分析、学习和生成时间序列的表示,该模型在传统和复杂时间序列的任务上表现出色,显著优于之前的基准模型。
Nov, 2023
扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中,我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹,并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用,无论生成的内容是什么。我们还描述了一种基于动态规划的方案,使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改,并且在计算成本几乎可忽略的情况下,能够在图像生成中提供卓越的性能,特别是在 5 到 10 个函数评估中。
May, 2024
本文主要研究了扩散模型在计算机视觉中的应用,比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异,研究表明,对于特定的脉冲形状误差,扩散系数越大,使用 SDE 模型生成样本的误差就会指数级下降,并且变化扩散系数可以提高样本质量。
Jun, 2023