扩散模型作为即插即用先验
通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束,从而提高生成样本与约束的一致性,且相较于现有方法有更好的性能且不影响推断速度;该方法还可以自然地防止过拟合。
Mar, 2024
通过引入辅助优化变量,利用扩散过程重新定义嘈杂的反问题为受约束的双变量优化任务,该算法称为 ProjDiff,有效地利用了预训练扩散模型的先验信息和降噪能力。在各种线性和非线性反问题中,ProjDiff 在图像恢复任务、信源分离和部分生成任务方面展现出卓越的性能,凸显其在实际应用中的潜力。
Jun, 2024
本文提出一种基于变分法的正则化方法 RED-Diff 来解决扩散模型后验分布不可计算的问题,通过在不同时间步引入不同的去噪器来实现对图像结构的约束,进而提高扩散模型在图像修复等领域的应用性能。
May, 2023
本文提出了一种基于去噪扩散概率模型的条件生成模型,通过把一个已知的、可求导的正向模型集成到去噪过程中,实现了间接观测信号的采样, 并在三项具有挑战性的计算机视觉任务中进行了验证。
Jun, 2023
本文提出了 PriorGrad,通过基于条件信息的数据统计推导出自适应先验来提高条件扩散模型的效率,改进语音合成中基于谱和时间域的扩散生成模型,通过理论分析和实验验证,提高了效率和稳健性。
Jun, 2021
本研究提出两种方法来扩展扩散模型至通过不等式约束定义的流形,包括基于对数障碍度量的失真度量以及基于反射布朗运动的失真度量,在合成和真实任务中进行了实证表明,包括蛋白质骨架和机器人臂运动的约束构象模拟。
Apr, 2023
本综述为关于应用于计算机视觉的去噪扩散模型文章提供了全面的回顾,包括在领域中的理论和实际贡献,提供了三种通用扩散建模框架,并介绍了扩散模型与其他深度生成模型之间的关系,并引入了在计算机视觉中应用扩散模型的多个视角分类,最后,我们说明了离散模型的当前限制并预见了未来研究的一些有趣方向。
Sep, 2022
本文中,我们提出了使用最近发展的去噪扩散生成模型建模的掩模先验来提高现有判别方法的语义分割质量。我们发现简单的集成扩散模型到语义分割中是不够的,并且一次差的扩散过程设计可能导致分割性能下降。我们通过多个实验表明,我们的方法在 ADE20K 和 Cityscapes 数据集上达到了较高的定量和定性性能。
Jun, 2023
我们提出了去噪扩散变分推断(DDVI)算法,它是一种基于扩散模型作为表达性变分后验的潜变量模型的近似推断算法。我们的方法通过辅助潜变量来增强变分后验,从而得到一类表达性模型,通过反转用户指定的噪声过程在潜变量空间中进行扩散。通过优化受 wake-sleep 算法启发的边缘似然的一种新的下界,我们拟合这些模型。我们的方法易于实现(它适用于正则化的 ELBO 进一步扩展),与黑盒变分推断兼容,并且优于基于归一化流或对抗网络的替代近似后验类别。当应用于深层潜变量模型时,我们的方法得到了去噪扩散 VAE(DD-VAE)算法。我们将该算法应用于生物学中的一个激励任务 -- 从人类基因组推断潜在祖先 -- 在 Thousand Genomes 数据集上优于强基线模型。
Jan, 2024