AAAIDec, 2023

BARET：基于平衡关注的实图像编辑引导目标文本逆转

PDF
TL;DR通过目标文本翻译方案、渐进式过渡方案和平衡关注模块，我们提出了一种新的图像编辑技术，实现了包括非刚性编辑在内的各种编辑类型，并提高了图像编辑的效率和准确性。
image editingdiffusion modelstarget textnon-rigid editsefficiency
发现论文，激发创造
  • 通过混合掩膜信息融合提升文本到图像编辑

    基于扩散模型，本文旨在系统性地改进文本引导的图像编辑技术，以解决其局限性，通过在模型的自注意机制中引入人为注释来限制编辑范围，并将编辑后的图像与源图像和构建的中间图像进行融合，实验证明所提出的 ``MaSaFusion'' 显著提高了现有的文本到图像编辑技术。

    May, 2024

  • 使用 DDPM 反演和语义指导的实际图像编辑 LEDITS

    LEDITS 是一种轻量级的图像编辑方法，结合了 Edit Friendly DDPM 反演技术和语义引导，能够实现对真实图像的细微和广泛编辑，而无需优化和扩展架构。

    Jul, 2023

  • 使用扩散模型进行文本驱动图像编辑的 Prompt Tuning Inversion

    本文提出了一种基于 Prompt Tuning Inversion 的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在 ImageNet 数据集上的表现优于现有技术。

    May, 2023

  • 基于图像信息去除的图像转换

    本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡，并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。

    May, 2023

  • 使用引导扩散模型编辑真实图像的无文本倒置技术

    本文介绍了一种精确的图片逆向生成技术，实现了基于文本的图片编辑，通过引入 Pivotal inversion 和 NULL-text optimization 技术，以条件嵌入为导向，避免了模型权重的繁琐调整，并在真实照片上进行了高保真度编辑。

    Nov, 2022

  • LEDITS++：利用文本 - 图像模型进行无限图像编辑

    文本到图像扩散模型对于仅使用文本输入产生高保真度图像的惊人能力近来引起了 increasing interest。然而，现有的图像到图像方法常常低效、不精确且使用范围有限。为了解决这些问题，我们介绍了一种高效且多用途的精确文本图像操作技术 LEDITS++。

    Nov, 2023

  • 利用文图扩散模型实现一致的视频编辑

    本文提出了 EI ^ 2 模型，主要解决 Text-to-Image 的视频编辑中存在的文本指示不一致和时间序列问题，通过引入 Shift-restricted Temporal Attention Module (STAM) 和 Fine-coarse Frame Attention Module (FFAM) 解决协变量漂移问题以及合理利用局部和全局信息，提高编辑的一致性。

    May, 2023

  • Free-Editor: 零样本条件下的基于文本的 3D 场景编辑

    提出了一种新颖的无需重新训练模型的 3D 场景编辑技术 Free-Editor，采用单视图编辑方案以避免多视角风格不一致问题，并使用 Edit Transformer 实现视图内一致性和视图间风格迁移，实现了快速且多样化的编辑能力。

    Dec, 2023

  • 利用扩散模型对野外场景文字进行操作

    通过引入基于扩散的场景文本操作网络（DBEST），我们设计了两种适应策略，即一次性样式适应和文本识别引导，在各种场景文本数据集上进行了全面评估和比较，并提供了深入的消融研究来分析我们的性能提升。此外，我们还展示了我们提出的方法在合成场景文本方面的有效性，通过竞争的光学字符识别（OCR）准确度，在 COCO-text 和 ICDAR2013 数据集上达到了 94.15% 和 98.12% 的字符级评估。

    Nov, 2023

  • 无需训练的非刚性编辑中的时间感知采样的潜在倒置

    通过文本引导的非刚性编辑的培训自由方法，提出了一种利用稳定扩散的非刚性编辑的方法，旨在提高身份保留质量而不损害可编辑性。通过文本优化、潜在反转和时间步感知文本注入采样三个阶段来实现该方法。通过广泛的实验验证了该方法在身份保留、可编辑性和美学质量方面的有效性。

    Feb, 2024