使用扩散模型进行未见图像合成
本文描述了一种更高效的迭代隐式概率模型——去噪扩散隐式模型(DDIMs),通过构建一类非马尔科夫扩散过程来加速采样过程,相对于去噪扩散概率模型(DDPMs)可以使采样速度提升10倍至50倍。这种模型可以用于图像生成和语义意义化的图像内插。
Oct, 2020
通过在预训练的自编码器的潜在空间中应用扩散模型,引入交叉注意力层到模型体系结构中,以更少的计算要求取得接近最优的性能,实现高分辨率合成,缩小像素级DMs对计算资源的需求。
Dec, 2021
通过改变图像退化处理方法,可以构建一系列生成模型,并且即使使用完全确定性的退化方法,也可以轻松推广扩展扩散模型的训练和测试时间更新规则,为翻转任意过程的扩散模型打下基础,这一成功也质疑了该社区对扩散模型的理解。
Aug, 2022
本文中,我们在变分和基于分数的透视下回顾,阐释和统一了扩散模型的理解。我们提出了变分扩散模型(VDM),并证明优化VDM归结为学习神经网络来预测原始源输入,原始源噪声或噪声输入的分数函数。最后,我们介绍了如何使用扩散模型通过引导来学习条件分布。
Aug, 2022
本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾,包括在领域中的理论和实际贡献,提供了三种通用扩散建模框架,并介绍了扩散模型与其他深度生成模型之间的关系,并引入了在计算机视觉中应用扩散模型的多个视角分类,最后,我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。
Sep, 2022
本文探讨了如何在Denoising Diffusion Models的latent space中嵌入图像,实现对噪声图像的去噪,并发现了该类生成模型中latent representation独立于反扩散过程网络实现的网络结构。
Dec, 2022
本文提出了一种基于去噪扩散概率模型的条件生成模型,通过把一个已知的、可求导的正向模型集成到去噪过程中,实现了间接观测信号的采样, 并在三项具有挑战性的计算机视觉任务中进行了验证。
Jun, 2023
通过扩展扩散模型,使用扩散桥模型作为一种自然替代方法,该模型通过从数据中学习扩散桥分数并解决基于这些分数的(随机)微分方程,将一种分布映射到另一种分布,从而实现图像编辑等应用中纳入非随机噪声信息的目标。
Sep, 2023
本研究解决了传统类引导扩散模型在细节纹理生成上的不足,指出依赖粗略的类先验信息限制了模型性能。提出的“扩散上的扩散”(DoD)框架通过从先前生成的样本中提取视觉先验,提供丰富的引导信息,显著降低训练成本,同时提升生成图像的质量和细节。研究结果表明,DoD-XL模型在有限的训练步骤下,获得的FID-50K评分显著优于其他最先进的方法。
Oct, 2024
本研究解决了去噪扩散概率模型(DDPMs)在生成新图像时缺乏有意义的潜在空间问题。通过研究初始高斯噪声、由其生成的样本和通过反演过程获得的潜在编码之间的关系,提出了一种新颖的看法,指出反演技术的局限性并证明生成图像的高层特征在训练中迅速稳定,空间距离关系保持一致。这项工作为进一步优化图像生成模型提供了重要见解。
Oct, 2024