具有位置 - 尺度噪声的扩散模型
通过扩散模型(Diffusion Models),我们在生成高质量图像方面取得了重要进展,通过系统研究不同扩散模型架构的关键方面,如噪声调度、采样器和引导,我们深入探索了这些模型的核心操作原理。通过全面分析这些模型,我们揭示了它们隐藏的基础机制,揭示了对其有效性至关重要的隐藏关键因素。我们的分析强调了决定模型性能的隐藏关键因素,为扩散模型的发展提供了见解。
Feb, 2024
利用高斯混合模型作为特征条件引导去噪过程,构建了一种基于高斯混合模型的条件机制,证明了该条件机制在特征上的条件潜在分布相较于类别上的条件潜在分布产生较少的缺陷生成,通过两种基于高斯混合模型的扩散模型的实验结果支持上述发现,并提出负高斯混合梯度作为一种新的梯度函数,通过额外分类器在扩散模型训练中应用,提高了训练稳定性,并从理论上证明了负高斯混合梯度和地球移动距离(Wasserstein 距离)在学习由低维流形支持的分布时具有相同的优势作为一种更合理的代价函数。
Jan, 2024
这项研究提出了基于 Classification Diffusion Models(CDMs)的生成技术,通过采用去噪扩散模型(DDMs)的形式来训练模型并使用分类器预测添加到干净信号中的噪音量,实现了更好的去噪效果以及与图像生成中的最佳结果相媲美的生成效果。该技术还能够实现高效的一步准确似然估计,是在只使用一步的方法中取得了最先进的结果。
Feb, 2024
本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形,包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量,在合成和真实任务中进行了实证表明,包括蛋白质骨架和机器人臂运动的约束构象模拟。
Apr, 2023
本文研究了扩散模型,其通过学习从高斯噪声中合成图像的生成模型。研究者在合成逼真图像的能力方面取得了显著进展,并强调了计算局部统计量在区分数码相机图像和生成图像中的有效性,以解决图像的空间非平稳性问题。作者展示了本方法产生了有希望的结果,并且对图像的调整和 JPEG 压缩等多种扰动具有鲁棒性。
Oct, 2023
传播模型是生成任务中表现出色的模型,然而大部分传播模型仅允许对数据分布进行线性变换,相比之下,更广泛的转换可能有助于更高效地训练生成分布并消除真实负对数似然和变分近似之间的差距。在本文中,我们介绍了神经传播模型 (NDMs),这是传统传播模型的泛化,可以定义和学习数据的时间相关的非线性转换。我们展示了如何在无需模拟的情况下使用变分上界来优化 NDMs。此外,我们导出了 NDMs 的时间连续形式,可以使用现成的数值 ODE 和 SDE 求解器进行快速可靠的推断。最后,我们通过在标准图像生成基准测试上的实验,包括 CIFAR-10、ImageNet 的降采样版本和 CelebA-HQ,展示了可学习转换的 NDMs 的实用性。NDMs 在似然度和生成高质量样本方面优于传统传播模型。
Oct, 2023
本综述主要介绍了最近视觉领域中扩散模型的进展,特别是那些影响扩散模型计算效率的重要设计方面,重点是强调了最近提出的设计选择,这些选择导致更高效的扩散模型。
Oct, 2022
本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾,包括在领域中的理论和实际贡献,提供了三种通用扩散建模框架,并介绍了扩散模型与其他深度生成模型之间的关系,并引入了在计算机视觉中应用扩散模型的多个视角分类,最后,我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。
Sep, 2022