Jan, 2024

批量交互式图像编辑的一次编辑

PDF
TL;DR本文介绍了一种使用 StyleGAN 作为介质的交互批量图像编辑的新方法，通过用户在示例图像中指定的编辑（例如，使面部正面），我们的方法可以自动将该编辑转移到其他测试图像，以便无论它们的初始状态（姿势）如何，它们都能达到相同的最终状态（例如，都正面朝向），实验证明我们的方法在进行编辑时与现有的单图像编辑方法具有类似的视觉质量，同时具有更多的视觉一致性，并且节省了大量的时间和人力。
image editingbatch image editingstyleganinteractive editingvisual consistency
发现论文，激发创造
  • EditGAN: 高精度语义图像编辑

    提出一种新的方法 EditGAN，通过修改高分辨率部分分割掩码来实现高质量、高精度的语义图像编辑，同时利用生成对抗网络和条件潜空间优化来实现编辑。

    Nov, 2021

  • 基于优化的多模态语义图像编辑

    我们提出了一种推理时间编辑优化方法，旨在通过两个专门的损失函数，成功地完成本地图像修改和全局内容一致性保留的竞争子任务，实现文本、姿势和涂鸦等多种编辑指令类型的灵活编辑解决方案，并通过定性和定量实验证明了我们能够实现复杂的编辑。

    Nov, 2023

  • 通过文本描述学习全局图片编辑

    该研究采用基于 RNN 和 GAN 的三种不同可训练模型实现了全局图像编辑，并使用 Amazon Mechanical Turk 收集文本描述用于训练这些系统，同时发现用 Graph RNN 代替 RNN 可以提高性能。

    Oct, 2018

  • 使用程序合成的批量图像处理 (ImageEye)

    本文介绍了一种新的基于综合的批量图像处理方法，通过利用预训练神经网络和其他语言构造使得对象级别的编辑成为可能，并提出了一种 neuro-symbolic DSL 语言，该方法能够自动学习这种语言，并在该方法的工具 ImageEye 上进行实现并评估，结果显示 ImageEye 能够自动完成 96% 的图像编辑任务。

    Apr, 2023

  • 交互式图像编辑的序列注意力生成对抗网络

    提出了一种基于 SeqAttnGAN 模型的交互式图片编辑方法，该模型应用了神经状态跟踪器进行图像和文本描述的编码，并使用 GAN 框架生成与之前图像一致且符合描述的新版本图像，同时为了实现更好的区域特定细化引入了顺序注意机制。在新的任务基准上，实验表明所提出的 SeqAttnGAN 模型在所有评估度量上优于现有方法。

    Dec, 2018

  • 复杂文本指令下的交互式图像操作

    本研究提出了一种基于复杂文本描述的图像编辑方法，在文本相关部分对输入的图像进行修改，并引入用户界面对生成的图像进行交互式重新修改，实现实时交互、灵活和准确的图像操作。

    Nov, 2022

  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • InstructGIE: 通向通用图像编辑的探索

    一个新的图像编辑框架，通过增强上下文学习能力和统一语言指导以提高泛化鲁棒性，利用 VMamba Block 和编辑偏移匹配策略来增强图像编辑任务的能力，并结合选择性区域匹配技术和语言统一技术来改善生成图像的质量，同时提供第一个利用视觉提示和编辑指导的图像编辑数据集来提高上下文能力。

    Mar, 2024

  • 零遮挡文本驱动的面部编辑

    本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

    Aug, 2023

  • MaskGAN：面部图像多样化和交互式操作的实现

    提出了一种名为 MaskGAN 的新框架，采用语义化掩模作为中间表示，实现多样化和交互式面部操纵，该框架在两个具有挑战性的任务上进行了综合评估：属性传输和样式复制，在实验证明了优于其他最先进的方法。

    Jul, 2019