探索无监督表示学习的扩散时间步
本文介绍了一种基于 Markovian 过程的 Upsampling Diffusion Probabilistic Model(UDPM),相较于传统的 Denoising Diffusion Probabilistic Models(DDPM),它在降低潜变量维度的同时,仅需 7 个扩散步骤即可生成 $256 imes 256$ 的高清图像。
May, 2023
提出了一种基于扩散的表示学习方法,通过扩展去噪得分匹配框架实现无监督学习;使用此方法学习无限维潜在码,实现半监督图像分类的最优结果,并通过下游任务的表现比较与其他方法的学习表示质量。
May, 2021
通过在预训练的自编码器的潜在空间中应用扩散模型,引入交叉注意力层到模型体系结构中,以更少的计算要求取得接近最优的性能,实现高分辨率合成,缩小像素级 DMs 对计算资源的需求。
Dec, 2021
本文提出了一种名为 DDM 的扩散模型,通过将复杂的扩散过程分解为两个相对简单的过程,来提高生成效果和速度,它通过显式转移概率近似图像分布,并通过标准维纳过程控制噪声路径;文章还提出了一个新的 DPM 训练目标,能够分别预测噪声和图像成分,同时,DDM 的逆向去噪公式可以自然地支持少数的生成步骤(不需要基于 ODE 的加速器),实验结果表明,DDM 在更少的函数评估方面优于以前的 DPM。
Jun, 2023
通过对 DDPM 模型进行简单修改,可以在保持高质量样本的同时达到具有竞争力的对数似然值,并学习反向扩散过程的方差,从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能,并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。
Feb, 2021
我们研究了最初用于图像生成的去噪扩散模型(DDM)的表示学习能力。我们的研究目的是逐步分解 DDM,将其转化为经典的去噪自编码器(DAE)。我们观察到现代 DDM 的很少组件对于学习良好的表示是至关重要的,而许多其他组件则不是必要的。我们的研究最终提出了一种高度简化并在很大程度上类似于经典 DAE 的方法。我们希望我们的研究能够在现代自监督学习领域重新激发对经典方法家族的兴趣。
Jan, 2024
该论文介绍了一种名为 Denoising Diffusion Step-aware Models (DDSM) 的新型框架,通过使用一系列根据每个生成步骤重要性进行自适应调整的神经网络,以进化搜索的方式解决了生成过程中存在的整体网络计算的瓶颈问题,有效地提高了扩散模型的效率,并且可以与其他以效率为目标的扩散模型进行无缝集成,从而扩大了计算节约的范围,同时不影响生成质量。
Oct, 2023
本研究提出一种名为 SR-DDPM 的新方法,通过利用少样本表示学习技术,解决面临有限数据的多任务图像生成挑战,以提高图像质量,并在标准图像数据集上对其进行评估,发现其在 FID 和 SSIM 指标上优于无条件和有条件的 DDPM。
Nov, 2023