Nov, 2022

使用引导扩散模型编辑真实图像的无文本倒置技术

PDF
TL;DR本文介绍了一种精确的图片逆向生成技术，实现了基于文本的图片编辑，通过引入 Pivotal inversion 和 NULL-text optimization 技术，以条件嵌入为导向，避免了模型权重的繁琐调整，并在真实照片上进行了高保真度编辑。
text-guided diffusion modelsimage generationimage editinginversion techniqueconditional embedding
发现论文，激发创造
  • 使用扩散模型进行文本驱动图像编辑的 Prompt Tuning Inversion

    本文提出了一种基于 Prompt Tuning Inversion 的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在 ImageNet 数据集上的表现优于现有技术。

    May, 2023

  • 负样本翻转：基于文本引导扩散模型的快速图像编辑

    本文提出一种负激励反演方法，通过前向传播实现等效重建来加速处理图像编辑中的扩散模型，实验证明与现有方法相比，我们的方法的重建质量是可比的，更快，可用于改善扩散模型的重建质量。

    May, 2023

  • 文本到图像扩散模型的固定点反演

    通过固定点迭代的方法解决了扭曲反演的技术性挑战，设计了用于图像生成和处理的基于文本引导的扩散模型，并通过提示感知的编码调整改进了反演质量，最终在多个下游任务中取得了显著的改进。

    Dec, 2023

  • 直接反演：使用 3 行代码提升基于扩散的编辑

    文本引导扩散模型通过分离源图像和目标扩散分支，实现图像编辑的内容保留和编辑保真度优化，通过三行代码实现的直接反演技术在编辑基准测试中表现出卓越的性能和极大的加速。

    Oct, 2023

  • 无需反转的图像编辑与自然语言

    对于扩散模型，尽管反演性编辑取得了一定进展，但基于文本的图像编辑仍面临困难。本研究提出了一种无需显式反演的编辑方法（InfEdit），通过引入特殊方差调度和统一的注意力控制机制，实现了对图像的稳定编辑和真实还原，且在各种编辑任务中表现出强大的性能和快速的实时应用潜力。

    Dec, 2023

  • 提示硬或几乎不提示：用于文本到图像扩散模型的 Prompt 反转

    通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

    Dec, 2023

  • 基于扩散模型的源提示解缠的图像可编辑性增强

    使用文本驱动扩散模型改进图像编辑性能，通过源提示的逆变将原始图像转化为与目标文本提示无关的潜在噪声代码，实现图像编辑的可操作性。

    Mar, 2024

  • 噪声图引导：基于空间上下文的真实图像编辑反演

    通过噪声地图引导的方式，我们提出了一种适用于真实图像编辑的反演方法，它具备空间上下文且无需优化，保持了良好的编辑质量。

    Feb, 2024

  • ReNoise: 迭代噪声实现真实图像反转

    最近，文本引导的扩散模型取得了强大的图像处理能力。然而，将这些方法应用于真实图像需要将图像反转到预训练的扩散模型的领域中。实现准确的反转仍然是一个挑战，特别是对于训练用于生成具有少量降噪步骤的图像的最新模型。在这项工作中，我们引入了一种具有高质量操作比的反转方法，提高重建准确性而不增加操作次数。我们的方法建立在扩散采样过程的反转基础之上，采用在每个反转采样步骤中进行迭代降噪的机制。该机制通过迭代应用预训练的扩散模型，并对这些预测进行平均，从而改善了沿前向扩散轨迹预测点的逼近性。我们使用各种采样算法和模型对我们的 RenNoise 技术的性能进行评估，并进行全面的评估和比较，展示了其在准确性和速度方面的有效性。此外，我们通过在真实图像上展示基于文本的图像编辑，证实了我们的方法的可编辑性。

    Mar, 2024

  • 使用 DDPM 反演和语义指导的实际图像编辑 LEDITS

    LEDITS 是一种轻量级的图像编辑方法，结合了 Edit Friendly DDPM 反演技术和语义引导，能够实现对真实图像的细微和广泛编辑，而无需优化和扩展架构。

    Jul, 2023