建议了一个统一理论框架,将基于得分的扩散模型和生成对抗网络合并起来,提出了一个名为 “鉴别器去噪扩散流” 的新 SDE,通过调整不同得分项之间的相对权重,可以在 SDMs 和 GANs 之间实现平滑转换,同时保持边际分布不变,提供了新的算法,并具有在高样本质量和快速采样速度之间实现灵活权衡的潜力。
Jul, 2023
本论文介绍了一种新变种的动态归一化流模型(TCNF),基于布朗运动的时间变形,能够有效地建模一些随机微分方程,包括标准的奥恩斯坦 - 乌伦贝克过程,并且提供更好的推断和预测能力。
Dec, 2023
通过使用正则化流和扩散模型,我们提出了 DiNof 技术,以实现更快的采样和更高的样本质量。我们利用正则化流对扩散过程中任意步骤的嘈杂数据进行参数化,并将其用作逆向扩散过程的先验。通过减少总扩散步骤的数量,我们能够加快正向和反向过程,并通过使用确定性和随机映射的方法提高扩散模型的表达能力。实验证明,我们的方法在标准图像生成数据集上具有优势,并在无条件的 CIFAR10 数据集上实现了 FID 为 2.01 和 Inception 得分为 9.96 的表现。
Sep, 2023
基于得分扩散模型的监督式学习框架用于训练生成模型,并通过生成标记数据解决了无监督训练中的问题,提高了采样效率和神经网络训练的时间节省。
Oct, 2023
本文研究扩散模型的采样动力学,通过挖掘它的几何结构,提出一种简单却强大的采样理论框架,并将扩散模型的优化与经典的均值偏移算法关联起来。
May, 2023
本研究提出了一个通用的模型参数化框架,尤其是针对前向 SDE 的空间部分,通过理论保障和实验证明了其优越性。
Jun, 2022
本文提出一种新型的正则化流,其基于 Wiener 过程的微分变形,从而获得一个完整的时间序列模型,该模型继承了其基本过程的许多性质,如似然性和边缘效率。此外,我们的连续处理为有独立到达过程的不规则时间序列提供了自然框架,包括直接插值。在合成数据和真实世界数据的一系列实验中,我们证明了该模型相对于变分 RNN 和潜在 ODE 基线的优越灵活性。
Feb, 2020
传统扩散模型通常依赖于固定的前向过程,本文引入神经流扩散模型(NFDM),通过支持更广泛的前向过程以及提出一种新颖的参数化技术来增强扩散模型,实现了无需模拟的端到端优化目标,从而有效地最小化负对数似然的变分上界。实验证据显示 NFDM 具有出色的性能,表现为最先进的似然估计。此外,我们还研究了 NFDM 在学习具有特定特征的生成动态,如确定性直线轨迹方面的潜力,这一探索彰显了 NFDM 的多样性和广泛应用潜力。
Apr, 2024
本文研究了扩散模型以及它们在数据分布为高斯分布时的数值实现,通过精确表达不同的 Wasserstein 误差,从而比较每种误差类型对任何采样方案的影响,直接在数据空间中监测收敛性,实验证明扩散模型文献中推荐的数值方案也是适用于高斯分布的最佳采样方案。
May, 2024
本文主要研究了扩散模型在计算机视觉中的应用,比较和分析了基于 ODE 和 SDE 的概率流和扩散模型在不同情况下的性能差异,研究表明,对于特定的脉冲形状误差,扩散系数越大,使用 SDE 模型生成样本的误差就会指数级下降,并且变化扩散系数可以提高样本质量。
Jun, 2023