May, 2023

负样本翻转：基于文本引导扩散模型的快速图像编辑

PDF
TL;DR本文提出一种负激励反演方法，通过前向传播实现等效重建来加速处理图像编辑中的扩散模型，实验证明与现有方法相比，我们的方法的重建质量是可比的，更快，可用于改善扩散模型的重建质量。
image editingdiffusion modelsreconstruction qualitynegative-prompt inversionoptimization
发现论文，激发创造
  • 使用引导扩散模型编辑真实图像的无文本倒置技术

    本文介绍了一种精确的图片逆向生成技术，实现了基于文本的图片编辑，通过引入 Pivotal inversion 和 NULL-text optimization 技术，以条件嵌入为导向，避免了模型权重的繁琐调整，并在真实照片上进行了高保真度编辑。

    Nov, 2022

  • 使用扩散模型进行文本驱动图像编辑的 Prompt Tuning Inversion

    本文提出了一种基于 Prompt Tuning Inversion 的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在 ImageNet 数据集上的表现优于现有技术。

    May, 2023

  • 提示硬或几乎不提示：用于文本到图像扩散模型的 Prompt 反转

    通过使生成的图像内容与用户意图一致的提示，该方法利用扩散模型进行串行优化得到直观的语言提示，从而产生具有相似内容的多样化图像。

    Dec, 2023

  • 通过近端引导改进负倒装

    本文提出了 ProxNPI 方法，通过将 NTI 和 NPI 的概念扩展为一种正则化术语和重建指导来优化 NPI，从而实现对真实图像进行编辑的任务，并在保持训练免费的同时降低了人工伪影。

    Jun, 2023

  • 直接反演：使用 3 行代码提升基于扩散的编辑

    文本引导扩散模型通过分离源图像和目标扩散分支，实现图像编辑的内容保留和编辑保真度优化，通过三行代码实现的直接反演技术在编辑基准测试中表现出卓越的性能和极大的加速。

    Oct, 2023

  • 基于小波引导的扩散图像编辑中的文本反转加速

    通过使用 WaveOpt-Estimator 和 Negative-Prompt Inversion 等创新方法以及波形变换分析，本研究提出了一种在保持图像结构的同时加速图像编辑过程的方法，相对于传统 Null-text Inversion 方法平均编辑时间减少超过 80%，为基于扩散模型的高效、高质量图像编辑研究提供了有希望的方法。

    Jan, 2024

  • 文本到图像扩散模型的固定点反演

    通过固定点迭代的方法解决了扭曲反演的技术性挑战，设计了用于图像生成和处理的基于文本引导的扩散模型，并通过提示感知的编码调整改进了反演质量，最终在多个下游任务中取得了显著的改进。

    Dec, 2023

  • 基于扩散模型的源提示解缠的图像可编辑性增强

    使用文本驱动扩散模型改进图像编辑性能，通过源提示的逆变将原始图像转化为与目标文本提示无关的潜在噪声代码，实现图像编辑的可操作性。

    Mar, 2024

  • 适用于逆问题的激发调整潜在扩散模型

    我们提出了一种使用文本到图像潜在扩散模型作为通用先验来解决图像逆问题的新方法。我们引入了一种 prompt 调整方法，通过在运行反向扩散过程时动态优化文本嵌入，使得我们能够生成更符合扩散先验的图像。此外，我们提出了一种投影方法，以保持潜在变量在编码器的范围空间内的演化，从而有助于减少图像伪影问题。我们的综合方法 P2L 在各种任务（如超分辨率、去模糊和修复缺失部分）上优于基于图像和潜在扩散模型的逆问题求解器。

    Oct, 2023

  • 无需反转的图像编辑与自然语言

    对于扩散模型，尽管反演性编辑取得了一定进展，但基于文本的图像编辑仍面临困难。本研究提出了一种无需显式反演的编辑方法（InfEdit），通过引入特殊方差调度和统一的注意力控制机制，实现了对图像的稳定编辑和真实还原，且在各种编辑任务中表现出强大的性能和快速的实时应用潜力。

    Dec, 2023