Dec, 2023

AdapEdit: 基于时空引导的自适应编辑算法，用于基于文本连续感知的图像编辑

PDF
TL;DR为了生成用户定制的视觉内容，本文提出了一种时空引导自适应编辑算法 AdapEdit，通过引入软注意力策略从时空角度动态变化编辑条件对视觉像素的引导程度，成功实现了自适应图像编辑，并在各种原始图像和编辑指令上展示了竞争性能并显著超越了以前的方法。
text-conditioned diffusion modelstext-driven image editingsoft editingspatio-temporal guided adaptive editing algorithmuser-customized visual contents
发现论文，激发创造
  • VidEdit：零样本和空间感知的文本驱动视频编辑

    本研究介绍了一种名为 VidEdit 的零镜头文本视频编辑方法，利用扩散模型结合语义分割器和边缘检测器实现了强的时间和空间上的一致性，证明在 DAVIS 数据集上，VidEdit 在语义保真度、图像保存和时间一致性方面优于现有的方法，同时仅需大约一分钟即可处理一个视频。

    Jun, 2023

  • 基于扩散的语义图像编辑与掩模引导

    本文提出了一种基于条件扩散模型的语义图像编辑方法 DiffEdit，能够自动生成需要编辑的图像区域的遮罩，并利用潜在推理保留感兴趣区域的内容，该方法在 ImageNet 数据集上实现了最先进的编辑表现。

    Oct, 2022

  • 基于优化的多模态语义图像编辑

    我们提出了一种推理时间编辑优化方法，旨在通过两个专门的损失函数，成功地完成本地图像修改和全局内容一致性保留的竞争子任务，实现文本、姿势和涂鸦等多种编辑指令类型的灵活编辑解决方案，并通过定性和定量实验证明了我们能够实现复杂的编辑。

    Nov, 2023

  • Forgedit：通过学习和遗忘进行文本指导的图像编辑

    通过图像重建、文本嵌入以及使用 UNet 结构和扩散模型，我们设计了一种新的文本引导图像编辑方法 Forgedit，具有强大的编辑能力，并在具有挑战性的文本引导图像编辑基准测试 TEdBench 中超越了以往的方法 Imagic，实现了最新的 state-of-the-art 结果。

    Sep, 2023

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • 使用扩展的注意力实现视频中的时态一致的对象编辑

    使用预训练的图像修复扩散模型，通过替换自注意力模块以创建帧级依赖关系，我们提出了一种编辑视频的方法，以确保编辑信息在所有视频帧中保持一致，从而在对象重定向、对象替换和对象移除等多个视频编辑任务中展示了该策略的卓越性能。

    Jun, 2024

  • LASPA：用于快速训练无需标记的单图像编辑的潜在空间对齐

    我们提出了一种新颖的，无需训练的方法，用于实现基于扩散模型的真实图像的文本编辑。我们的方法利用潜在空间对齐（LASPA）有效地保留图像细节，通过扩散过程与参考图像进行空间引导，从而实现语义上连贯的编辑。该方法无需复杂的优化和昂贵的模型微调，与之前的方法相比，编辑速度显著提高。此外，我们的方法避免了大型微调模型的存储要求。这些优势使得我们的方法特别适用于移动设备和需要快速响应时间的应用。尽管简单快速，我们的方法在用户研究中获得了 62-71％的偏好，并且在模型编辑强度和图像保护评分方面表现显著优越。

    Mar, 2024

  • 多模态引导下的图像编辑与文本到图像扩散模型调查

    图像编辑以满足用户特定需求为目标，近年来作为人工智能生成内容 (AIGC) 领域的一项有前景且具有挑战性的研究得到广泛关注。本篇综述针对利用文本转图像扩散模型进行多模态引导的图像编辑技术进行了全面回顾，介绍了综合的图像编辑范畴、各种控制信号和编辑场景，提出了一个统一的框架来规范编辑过程，并分成两个主要算法体系，为用户实现特定目标提供了一个设计空间。另外，对于基于训练的方法，我们讨论了它们的特点和适用场景，并介绍了在不同场景下源图像注入的方案。此外，我们还回顾了将二维技术应用于视频编辑，并突出了解决帧间不一致问题的解决方案。最后，我们讨论了该领域面临的开放性挑战，并提出了潜在的未来研究方向。

    Jun, 2024

  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • 探究基于文本引导的遥感图像单幅编辑

    本文提出了一种基于扩散方法的稳定可控的远程感知图像编辑方法，避免了大量配对图像的使用，并且通过量化评估系统和主观评估指标表明，该方法在远程感知图像编辑方面的效果优于现有的图像编辑模型。

    May, 2024