Mar, 2024

ReNoise: 迭代噪声实现真实图像反转

PDF
TL;DR最近，文本引导的扩散模型取得了强大的图像处理能力。然而，将这些方法应用于真实图像需要将图像反转到预训练的扩散模型的领域中。实现准确的反转仍然是一个挑战，特别是对于训练用于生成具有少量降噪步骤的图像的最新模型。在这项工作中，我们引入了一种具有高质量操作比的反转方法，提高重建准确性而不增加操作次数。我们的方法建立在扩散采样过程的反转基础之上，采用在每个反转采样步骤中进行迭代降噪的机制。该机制通过迭代应用预训练的扩散模型，并对这些预测进行平均，从而改善了沿前向扩散轨迹预测点的逼近性。我们使用各种采样算法和模型对我们的 RenNoise 技术的性能进行评估，并进行全面的评估和比较，展示了其在准确性和速度方面的有效性。此外，我们通过在真实图像上展示基于文本的图像编辑，证实了我们的方法的可编辑性。
text-guided diffusion modelsimage manipulationinversion methodrennoise techniquetext-driven image editing
发现论文，激发创造
  • 加速迭代扩散反演的有效真实图像编辑

    使用生成对抗网络 (GAN) 和去噪扩散隐式模型 (DDIM) 的加速迭代扩散反演方法 (AIDI) 在图像编辑任务中取得了更高的重构准确性和更好的稳健性。

    Sep, 2023

  • 使用引导扩散模型编辑真实图像的无文本倒置技术

    本文介绍了一种精确的图片逆向生成技术，实现了基于文本的图片编辑，通过引入 Pivotal inversion 和 NULL-text optimization 技术，以条件嵌入为导向，避免了模型权重的繁琐调整，并在真实照片上进行了高保真度编辑。

    Nov, 2022

  • 扩散模型实现实际噪声抑制

    本文介绍了一种基于扩散模型的新型通用去噪扩散模型，采用线性插值进行扩散，中间的噪声图像从原始的清晰图像和相应的真实噪声图像进行插值，使得该扩散模型可以处理添加噪声的级别，并且提出了两种采样算法，实验证明该模型在真实去噪基准测试中表现良好。

    May, 2023

  • IterInv：逐步反演像素级 T2I 模型

    大规模文本 - 图像扩散模型是生成根据输入文本提示的令人信服的图像的突破性发展。图像编辑研究的目标是通过修改文本提示来使用户对生成的图像具有控制能力。在这种情况下，迭代反转（IterInv）技术结合了流行的图像编辑方法，证明了 IterInv 的应用前景。

    Oct, 2023

  • 高保真基于扩散的图像编辑

    扩散模型在图像生成和编辑领域取得了显著的成功。我们提出了一种创新的框架，其中包含一个修正模块，用残差特征调节扩散模型权重，以填补编辑过程中准确性的差距。此外，我们引入了一种新的学习范式，旨在在编辑过程中最小化错误传播。通过大量实验证明，我们的提议框架和训练策略在各种去噪步骤下实现了高保真的重建和编辑结果，并在定量指标和质量评估方面表现出色。此外，我们还通过图像到图像的转换和跨领域图像编辑等多个应用探索了模型的泛化能力。

    Dec, 2023

  • 文本到图像扩散模型的固定点反演

    通过固定点迭代的方法解决了扭曲反演的技术性挑战，设计了用于图像生成和处理的基于文本引导的扩散模型，并通过提示感知的编码调整改进了反演质量，最终在多个下游任务中取得了显著的改进。

    Dec, 2023

  • 细节保留图像去噪的重建生成扩散模型

    提出了一种称为重建生成扩散模型 (RnG) 的新方法，该方法利用重建去噪网络恢复绝大部分底层干净信号，并采用扩散算法生成剩余的高频细节，从而提高视觉质量和感知度。通过在合成和真实去噪数据集上进行广泛实验验证了该方法的优越性。

    Sep, 2023

  • 负样本翻转：基于文本引导扩散模型的快速图像编辑

    本文提出一种负激励反演方法，通过前向传播实现等效重建来加速处理图像编辑中的扩散模型，实验证明与现有方法相比，我们的方法的重建质量是可比的，更快，可用于改善扩散模型的重建质量。

    May, 2023

  • 冷扩散：无需噪声即可反转任意图像转换

    通过改变图像退化处理方法，可以构建一系列生成模型，并且即使使用完全确定性的退化方法，也可以轻松推广扩展扩散模型的训练和测试时间更新规则，为翻转任意过程的扩散模型打下基础，这一成功也质疑了该社区对扩散模型的理解。

    Aug, 2022

  • 通过快速扩散反演进行盲图像恢复

    通过使用预训练的扩散模型，我们提出了一种盲图像恢复方法 BIRD，它在优化退化模型参数和恢复图像的同时，通过在数据流形上提出新的采样技术，将图像恢复任务转化为输入噪声空间中的优化问题。实验证明，该方法在多个图像恢复任务上实现了最先进的性能。

    May, 2024