利用自适应动量采样器提升扩散模型
本文研究了扩散模型中存在的曝光偏差,并提出了一种名为 Time-Shift Sampler 的推理方法,该方法可以在不重新训练模型的情况下缓解曝光偏差,并通过实验结果证明了其有效性。
May, 2023
提出了快速扩散模型(FDM),它将扩散模型(DM)的扩散过程从随机优化角度进行改进,以加速训练和采样。实验证明,FDM 可以应用于多种流行的 DM 框架,并在 CIFAR-10、FFHQ 和 AFHQv2 数据集上具有可比的图像合成性能。而且,FDM 通过将采样步骤减少约 3 倍来实现相似的性能,从而将训练成本降低约 50%。
Jun, 2023
通过将去噪步骤直接整合到模型的架构中,本研究提出了一种新方法,将扩散模型与生成对抗网络结合起来,通过知识蒸馏实现更高效的训练和评估,从而减少了所需的参数和去噪步骤,提高了测试时的采样速度。
May, 2024
本文提出了一种名为 DDM 的扩散模型,通过将复杂的扩散过程分解为两个相对简单的过程,来提高生成效果和速度,它通过显式转移概率近似图像分布,并通过标准维纳过程控制噪声路径;文章还提出了一个新的 DPM 训练目标,能够分别预测噪声和图像成分,同时,DDM 的逆向去噪公式可以自然地支持少数的生成步骤(不需要基于 ODE 的加速器),实验结果表明,DDM 在更少的函数评估方面优于以前的 DPM。
Jun, 2023
使用概率扩散模型自适应定制的新方法 AdjointDPM,采用伴随灵敏度方法通过解决带有增广 ODE 的概率流 ODE 来进行梯度反向传播,从而实现对模型参数和生成内容的梯度控制,进而在可视效果转换、特定类型风格化和安全审计等任务上展示了 AdjointDPM 的有效性。
Jul, 2023
通过对 DDPM 模型进行简单修改,可以在保持高质量样本的同时达到具有竞争力的对数似然值,并学习反向扩散过程的方差,从而使用数量级更少的正向传递采样。使用精度和召回率比较 DDPM 和 GAN 模型的性能,并证明这些模型的样本质量和似然值可以与模型容量和训练计算平稳地提高。
Feb, 2021
通过 DreamSampler 框架,通过对正则化潜在优化的透镜,整合了逆向采样和分数蒸馏两种不同方法,实现了对图像编辑和重建的指导,从而展示了与现有方法相比的竞争性性能和新的应用。
Mar, 2024