Oct, 2023

通过同时估计图像和噪声改进去噪扩散模型

PDF
TL;DR通过逆扩散过程改进图像生成速度和质量的两个主要贡献是：首先，通过在图像和噪声之间的四分之一圆弧角度上重新参数化扩散过程，消除了两个奇点，并将扩散演化表达为良好行为的常微分方程。其次，直接使用网络直接估计图像和噪声，使得逆扩散步骤中的更新步骤更加稳定，因为准确估计图像和噪声在过程的不同阶段都是关键的。通过这些改变，我们的模型能够更快地生成高质量的图像，并且用 Frechet Inception 距离（FID）、空间 Frechet Inception 距离（sFID）、准确率和召回率等度量得出更高质量的生成图像。
inverse diffusion processesreparameterizationordinary differential equationode solversimage generation
发现论文，激发创造
  • 动态双输出扩散模型

    在这篇文章中，我们发现了扩散模型生成质量受到迭代次数限制的根本原因，并提出了一个简单而有效的解决方案来缓解这些影响。我们的解决方案可以应用于任何现有的扩散模型，并且在各种 SOTA 体系结构上运行多个数据集和配置进行实验和详尽的消融研究，证明能够立即提高它们的生成质量。

    Mar, 2022

  • 扩散模型实现实际噪声抑制

    本文介绍了一种基于扩散模型的新型通用去噪扩散模型，采用线性插值进行扩散，中间的噪声图像从原始的清晰图像和相应的真实噪声图像进行插值，使得该扩散模型可以处理添加噪声的级别，并且提出了两种采样算法，实验证明该模型在真实去噪基准测试中表现良好。

    May, 2023

  • 高保真基于扩散的图像编辑

    扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

    Dec, 2023

  • ReNoise: 迭代噪声实现真实图像反转

    最近，文本引导的扩散模型取得了强大的图像处理能力。然而，将这些方法应用于真实图像需要将图像反转到预训练的扩散模型的领域中。实现准确的反转仍然是一个挑战，特别是对于训练用于生成具有少量降噪步骤的图像的最新模型。在这项工作中，我们引入了一种具有高质量操作比的反转方法，提高重建准确性而不增加操作次数。我们的方法建立在扩散采样过程的反转基础之上，采用在每个反转采样步骤中进行迭代降噪的机制。该机制通过迭代应用预训练的扩散模型，并对这些预测进行平均，从而改善了沿前向扩散轨迹预测点的逼近性。我们使用各种采样算法和模型对我们的 RenNoise 技术的性能进行评估，并进行全面的评估和比较，展示了其在准确性和速度方面的有效性。此外，我们通过在真实图像上展示基于文本的图像编辑，证实了我们的方法的可编辑性。

    Mar, 2024

  • 生成扩散模型的噪声估计

    本文提出一种简单而通用的学习方案，可针对任何给定步骤逐步调整噪声参数，从而显著提高类比扩散模型的综合结果。

    Apr, 2021

  • 中继扩散：跨分辨率统一图像合成扩散过程

    通过离散余弦变换的角度看，高分辨率产生图像的主要挑战在于 “在频率域中，相同的噪声水平在更高分辨率下会导致更高的信噪比”；本论文提出了中继扩散模型 (Relay Diffusion Model, RDM)，通过模糊扩散和块噪声将低分辨率图像或噪声转换为等效的高分辨率图像，使扩散过程能够在任意新分辨率或模型中无缝地继续进行，而无需从纯噪声或低分辨率条件重新启动；RDM 在 CelebA-HQ 的 FID 和 ImageNet 256x256 的 sFID 上取得了领先的成绩，明显超过 ADM、LDM 和 DiT 等之前的工作。

    Sep, 2023

  • NoiseDiffusion: 利用扩散模型进行图像内插的噪声补偿 —— 超越球面线性内插

    通过引入微小的高斯噪声并增加约束条件，NoiseDiffusion 方法能够改善无效噪声导致的图像插值问题，从而实现在噪声空间进行插值并解决信息丢失挑战，使得自然图像得以有效插值而不引入伪影或信息丢失，从而获得最佳插值结果。

    Mar, 2024

  • 图像逆问题中的可导条件扩散对于离域自适应

    我们介绍了一种名为可控条件扩散的新型采样框架，它将去噪扩散模型与可用的测量数据相结合，实现了对多样的成像模态下的离群任务的显著改进，推动了去噪扩散模型在实际应用中的鲁棒部署。

    Aug, 2023

  • 物理相关扩散模型

    通过在模型训练过程中加入约束条件使其生成的样本更符合所施加的约束，从而提高生成样本与约束的一致性，且相较于现有方法有更好的性能且不影响推断速度；该方法还可以自然地防止过拟合。

    Mar, 2024

  • 释放扩散先验的去噪能力以解决逆问题

    通过引入辅助优化变量，利用扩散过程重新定义嘈杂的反问题为受约束的双变量优化任务，该算法称为 ProjDiff，有效地利用了预训练扩散模型的先验信息和降噪能力。在各种线性和非线性反问题中，ProjDiff 在图像恢复任务、信源分离和部分生成任务方面展现出卓越的性能，凸显其在实际应用中的潜力。

    Jun, 2024