Sep, 2024

SimInversion：一种简单的基于反演的文本到图像编辑框架

HTML
PDF
TL;DR该研究解决了现有DDIM反演在无分类器引导下优化不足的问题，进而导致性能不佳。通过分析反演中的近似误差，作者提出了分解源和目标分支的引导尺度，以降低误差并保持原框架。此外，研究发现理论上比默认设置更优的引导尺度（0.5）。实验结果表明，该方法显著提升了DDIM反演的性能，并保持了效率。
发现论文，激发创造
  • 使用引导扩散模型编辑真实图像的无文本倒置技术

    本文介绍了一种精确的图片逆向生成技术，实现了基于文本的图片编辑，通过引入Pivotal inversion和NULL-text optimization技术，以条件嵌入为导向，避免了模型权重的繁琐调整，并在真实照片上进行了高保真度编辑。

    Nov, 2022

  • 使用扩散模型进行文本驱动图像编辑的Prompt Tuning Inversion

    本文提出了一种基于Prompt Tuning Inversion的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在ImageNet数据集上的表现优于现有技术。

    May, 2023

  • 直接反演：使用3行代码提升基于扩散的编辑

    文本引导扩散模型通过分离源图像和目标扩散分支，实现图像编辑的内容保留和编辑保真度优化，通过三行代码实现的直接反演技术在编辑基准测试中表现出卓越的性能和极大的加速。

    Oct, 2023

  • 无需反转的图像编辑与自然语言

    对于扩散模型，尽管反演性编辑取得了一定进展，但基于文本的图像编辑仍面临困难。本研究提出了一种无需显式反演的编辑方法（InfEdit），通过引入特殊方差调度和统一的注意力控制机制，实现了对图像的稳定编辑和真实还原，且在各种编辑任务中表现出强大的性能和快速的实时应用潜力。

    Dec, 2023

  • 基于无需调优的增强逆控制的一致图像编辑

    提出了一种名为Tuning-free Inversion-enhanced Control (TIC)的新方法，通过直接关联反演过程和采样过程的特征来缓解DDIM重建中的不一致性，实现准确的重建和内容一致性编辑。通过实验证明，该方法在重建和一致性编辑方面优于以前的工作，在各种设置中产生了令人印象深刻的结果。

    Dec, 2023

  • 噪声图引导：基于空间上下文的真实图像编辑反演

    通过噪声地图引导的方式，我们提出了一种适用于真实图像编辑的反演方法，它具备空间上下文且无需优化，保持了良好的编辑质量。

    Feb, 2024

  • Eta反演：为基于扩散的真实图像编辑设计最佳Eta函数

    通过对DDIM采样方程中的η的理论分析，我们引入了一种新颖适应性的扩散反演技术来进行真实图像编辑，实现了对编辑范围的灵活控制。通过与多种最近方法的全面定量和定性评估相比较，我们展示了我们方法的卓越性能，既在该领域设立了新的基准，也大大超越了现有策略。

    Mar, 2024

  • 基于扩散模型的源提示解缠的图像可编辑性增强

    使用文本驱动扩散模型改进图像编辑性能，通过源提示的逆变将原始图像转化为与目标文本提示无关的潜在噪声代码，实现图像编辑的可操作性。

    Mar, 2024

  • TurboEdit：基于文本的图像编辑与少步扩散模型

    本研究针对文本基础图像编辑中的多步骤扩散模型进行了探讨，填补了向快采样方法适应的实际空白。提出了一种新的移位噪声调度来解决视觉伪影问题，并通过伪引导方法增强编辑强度，最终实现了仅需三步扩散的高效文本图像编辑，推动了相关领域的发展。

    Aug, 2024

  • 面向任务的高保真文本编辑扩散反演

    本研究解决了现有文本引导扩散模型在真实图像编辑中重建保真度与可编辑性之间的挑战。提出的面向任务的扩散反演（TODInv）框架通过优化扩展的\(\mathcal{P}^*\)空间中的提示嵌入，使反演和编辑结合，确保高保真度和精确可编辑性。实验结果表明，TODInv在基准数据集上优于现有方法，实现了定量和定性上的提升，并展示了其在少步扩散模型中的多样性和适应性。

    Aug, 2024