OMS-DPM: 模型进度优化扩散概率模型
通过对DDPM模型进行简单修改,可以在保持高质量样本的同时达到具有竞争力的对数似然值,并学习反向扩散过程的方差,从而使用数量级更少的正向传递采样。使用精度和召回率比较DDPM和GAN模型的性能,并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。
Feb, 2021
提出了一种动态规划算法,基于ELBO分解原理,可用于任何预先训练的DDPM,通过优化推理时间表来发现最优的离散时间表,从而实现生成速度与样本质量之间的平衡。
Jun, 2021
本文提出了一种用于采样扩散概率模型的快速高阶求解器DPM-Solver,并通过自适应求解扩散常微分方程,可在数百或数千步骤内使用较小的神经网络采样高质量样本,相比于以往方法有明显速度优势
Jun, 2022
本文探讨了通过采用对角线和全方差提高DPM模型的表现力,同时基于函数噪声的条件期望估计提出了一种最优协方差和其校正的方法,并通过两阶段训练过程进行了实现以提高效率。通过实验表明,我们的方法在可能性结果上优于各种协方差设计,并在少量时间步长上提高了样本质量。
Jun, 2022
本研究提出了一种基于“限制后向误差进度表”(RBE进度表)的快速采样方法,使Denoising Diffusion Probabilistic Models(DDPM)拥有更快的采样速度而不需要进一步训练,并在各种基准数据集上实现了高品质图像的生成。
Apr, 2023
我们提出了一种统一的框架来在扩散模型中实现有效的图像生成,其中搜索最佳时间步骤序列和压缩模型架构,无需进一步的训练。通过引入两阶段进化算法和使用生成和真实样本之间的FID评分来加速搜索过程,该方法在仅使用几个时间步骤时实现了出色的性能。
Sep, 2023
该研究提出了一种新的改进方法,通过最小化高保真图像生成中的采样误差,建立了一种针对传播概率模型的新的快速ODE求解器DPM-Solver-v3,并通过引入一些在预训练模型上高效计算的系数,提高了样本质量。
Oct, 2023
扩散模型在近年来引起了广泛关注,然而其高计算成本限制了实际应用,本文通过研究发现了扩散模型的稳定性,并提出了两种训练加速策略,即课程学习的时间步骤调度和动量衰减策略。实验结果表明,这些策略可以显著减少训练时间并提高生成图像的质量。
Mar, 2024
通过对扩散模型的采样调度进行优化,我们提出了一种通用的、有原则的方法,称为“调整您的步骤”,以实现高质量输出,并观察到我们优化的调度在几乎所有实验中优于以前手工制作的调度。
Apr, 2024