扩散模型的推断稳定性
通过对 DDPM 模型进行简单修改,可以在保持高质量样本的同时达到具有竞争力的对数似然值,并学习反向扩散过程的方差,从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能,并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。
Feb, 2021
通过将去噪步骤直接整合到模型的架构中,本研究提出了一种新方法,将扩散模型与生成对抗网络结合起来,通过知识蒸馏实现更高效的训练和评估,从而减少了所需的参数和去噪步骤,提高了测试时的采样速度。
May, 2024
提出了一种动态规划算法,基于 ELBO 分解原理,可用于任何预先训练的 DDPM,通过优化推理时间表来发现最优的离散时间表,从而实现生成速度与样本质量之间的平衡。
Jun, 2021
该研究论文通过严格证明特定 DPM 去噪策略在大量扩散步骤中收敛于均方误差最优条件均值估计器,为 DPMs 的理论理解做出了创新的贡献,并通过数值结果验证了理论发现。
Mar, 2024
Fast-DDPM 是一种简单而有效的方法,可同时提高训练速度、采样速度和生成质量,通过仅使用 10 个时间步进行训练和采样,相比 DDPM,Fast-DDPM 能够在医学图像生成任务中优于基于卷积网络和生成对抗网络的当前最先进方法,并将训练时间缩短了 5 倍,采样时间缩短了 100 倍。
May, 2024
本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型,提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练,获得了最佳结果;此外,我们的模型自然地采用渐进式有损解压缩方案,可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上,我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上,我们获得了与 ProgressiveGAN 相似的样本质量。
Jun, 2020
Denoising Diffusion Probabilistic Models (DDPMs) can effectively generate images in unexplored regions of the data distribution by composing latent factors learned from separate subsets, demonstrated through zero-shot interpolation for attributes like smiling faces.
May, 2024
本文提出了离散去噪扩散概率模型(D3PM),用于离散数据的扩散式生成模型,包括了仿真高斯核、嵌入空间中基于最邻近、引入吸收状态等过渡矩阵。研究表明过渡矩阵的选择对图像和文本领域下的生成模型结果至关重要,且提出的新损失函数在字符级别文本生成上取得了很好的效果。
Jul, 2021
本文提出了一种基于 DPMs 的迁移学习方法 TAN,通过相似性引导训练和对抗性噪声选择两种策略,解决了数据有限的问题,实验表明相比现有的基于 GAN 和 DDPM 的方法,我们的方法在图像质量和多样性方面表现出色且高效。
Aug, 2023
本研究侧重于使用扩散模型进行半监督图像分割,特别是针对领域泛化问题,结论表明较小的扩散步骤生成的潜在表示比较大的步骤更具鲁棒性,通过利用信息密集的小步骤和较大步骤的正则化效果生成预测,该模型在领域变化设置中表现出明显较好的性能且在领域内保持有竞争力的性能,突显了 DDPM 在半监督医学图像分割中的潜力并提供了优化其在领域变化下性能的见解。
Nov, 2023