Dec, 2023

无需反转的图像编辑与自然语言

PDF
TL;DR对于扩散模型，尽管反演性编辑取得了一定进展，但基于文本的图像编辑仍面临困难。本研究提出了一种无需显式反演的编辑方法（InfEdit），通过引入特殊方差调度和统一的注意力控制机制，实现了对图像的稳定编辑和真实还原，且在各种编辑任务中表现出强大的性能和快速的实时应用潜力。
text-guided image manipulationdiffusion modelsinversion processconsistency sampling methodsinfedit
发现论文，激发创造
  • 用于文本引导图像编辑的可逆一致性蒸馏方法（约 7 步）

    通过应用可逆一致性蒸馏 (invertible Consistency Distillation, iCD) 框架，实现了在少于 4 个推理步骤中高质量图像合成和准确图像编码的目标，使得具有动态引导的 iCD 成为零样本文本引导图像编辑的高效工具。

    Jun, 2024

  • 使用 DDPM 反演和语义指导的实际图像编辑 LEDITS

    LEDITS 是一种轻量级的图像编辑方法，结合了 Edit Friendly DDPM 反演技术和语义引导，能够实现对真实图像的细微和广泛编辑，而无需优化和扩展架构。

    Jul, 2023

  • 使用引导扩散模型编辑真实图像的无文本倒置技术

    本文介绍了一种精确的图片逆向生成技术，实现了基于文本的图片编辑，通过引入 Pivotal inversion 和 NULL-text optimization 技术，以条件嵌入为导向，避免了模型权重的繁琐调整，并在真实照片上进行了高保真度编辑。

    Nov, 2022

  • 基于无需调优的增强逆控制的一致图像编辑

    提出了一种名为 Tuning-free Inversion-enhanced Control (TIC) 的新方法，通过直接关联反演过程和采样过程的特征来缓解 DDIM 重建中的不一致性，实现准确的重建和内容一致性编辑。通过实验证明，该方法在重建和一致性编辑方面优于以前的工作，在各种设置中产生了令人印象深刻的结果。

    Dec, 2023

  • 直接反演：使用 3 行代码提升基于扩散的编辑

    文本引导扩散模型通过分离源图像和目标扩散分支，实现图像编辑的内容保留和编辑保真度优化，通过三行代码实现的直接反演技术在编辑基准测试中表现出卓越的性能和极大的加速。

    Oct, 2023

  • 可编辑的 DDPM 噪声空间：反演和操作

    该研究提出一种针对去噪扩散概率模型 (DDPM) 的替代性噪声空间，以便进行广泛的编辑操作，并介绍了一种反演方法，用于提取任何给定图像（真实或人工生成的）的适合进行编辑的噪声生成图。

    Apr, 2023

  • IterInv：逐步反演像素级 T2I 模型

    大规模文本 - 图像扩散模型是生成根据输入文本提示的令人信服的图像的突破性发展。图像编辑研究的目标是通过修改文本提示来使用户对生成的图像具有控制能力。在这种情况下，迭代反转（IterInv）技术结合了流行的图像编辑方法，证明了 IterInv 的应用前景。

    Oct, 2023

  • 负样本翻转：基于文本引导扩散模型的快速图像编辑

    本文提出一种负激励反演方法，通过前向传播实现等效重建来加速处理图像编辑中的扩散模型，实验证明与现有方法相比，我们的方法的重建质量是可比的，更快，可用于改善扩散模型的重建质量。

    May, 2023

  • 加速迭代扩散反演的有效真实图像编辑

    使用生成对抗网络 (GAN) 和去噪扩散隐式模型 (DDIM) 的加速迭代扩散反演方法 (AIDI) 在图像编辑任务中取得了更高的重构准确性和更好的稳健性。

    Sep, 2023

  • 基于扩散模型的图像属性编辑的零样本反演过程

    零样本反演过程 (ZIP) 是一个框架，将生成的视觉参考和文本引导注入预训练的去噪扩散模型的语义潜空间中，仅使用一个小型神经网络，ZIP 在文本提示的直观控制下产生多样的内容和属性，并对真实图像上的域内和域外属性操作展现了显著的鲁棒性。与最先进的方法相比，ZIP 在提供逼真的编辑效果的同时，生成了同等质量的图像。

    Aug, 2023