CVPRNov, 2017

基于循环注意模型的语言图像编辑

PDF
TL;DR本文介绍了一种通过自然语言描述编辑图片的方法，使用基于递归注意力模型的通用框架，包括图像分割和图像着色两个子任务，并引入终止门来动态决定是否从文本描述中继续提取信息，该框架在 CoSaL、ReferIt 和 Oxford-102 Flowers 数据集上取得了良好的效果。
language-based image editingrecurrent attentive modelsimage segmentationimage colorizationnatural language processing
发现论文，激发创造
  • 使用条件生成对抗网络实现基于语言的图像编辑的双线性表示

    该研究在利用条件生成对抗网络进行基于语言的图像编辑过程中，提出了一种改进的条件层，能够更好地学习图像与文本之间的相关性，因此生成的图像质量更高。

    Mar, 2019

  • 通过多模态大规模语言模型引导基于指导的图像编辑

    通过多模态大语言模型（MLLMs）的指导，MLLM-Guided Image Editing（MGIE）学习能够提供表达性指令和明确引导的图像编辑模型，其通过端到端训练同时捕捉了视觉想象力并执行图像操作。大量实验结果证明，表达性指令对基于指令的图像编辑至关重要，而我们的 MGIE 在保持有竞争力的推理效率的同时，能够显著改善自动度量和人类评估。

    Sep, 2023

  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • InstructGIE: 通向通用图像编辑的探索

    一个新的图像编辑框架，通过增强上下文学习能力和统一语言指导以提高泛化鲁棒性，利用 VMamba Block 和编辑偏移匹配策略来增强图像编辑任务的能力，并结合选择性区域匹配技术和语言统一技术来改善生成图像的质量，同时提供第一个利用视觉提示和编辑指导的图像编辑数据集来提高上下文能力。

    Mar, 2024

  • 基于语言的图形设计照片调整方法

    通过基于语言的方法，我们提供了一个直观的系统，可以帮助图形设计专家和新手进行照片重新着色，以解决现有工具和之前的作品在易用性和表现力之间的困境。

    Aug, 2023

  • SSCR: 通过自监督因果推理进行迭代式基于语言的图像编辑

    本研究提出一种自我监督对抗推理 (SSCR) 框架，以克服迭代语言图像编辑任务中的数据稀缺性，并在两个 IBLIE 数据集上取得了新的最先进 (SOTA) 的成果，即使只使用 50% 的训练数据，SSCR 也能获得与使用完整数据相当的结果。

    Sep, 2020

  • Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

    该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

    Mar, 2024

  • 基于多模多层转换器的语言视频编辑

    本文介绍了一种基于语言的视频编辑任务（LBVE），并提出了一个多模态多级变换器（M^3L）来进行语言指导下的视频编辑，实现了视频感知和语言语义的动态学习，并取得了良好的实验结果和应用前景。

    Apr, 2021

  • 基于语言的图像编辑基准和基线

    本文介绍了一种利用语言驱动的图像编辑技术节省大量编辑工作量并对摄影新手友好，作者提出了一种支持本地和全局编辑的新技术方法，并构建了一个数据集用于支持本文所提出方法的研发，并且该方法在用户数据测试中表现良好，能够自动预测操作参数，具有高度的可解释性。

    Oct, 2020

  • 激发视觉创造力：图像编辑建议的视觉语言助手

    该研究论文介绍了图像编辑推荐任务，通过 Creativity-Vision Language Assistant 的训练和编辑指令数据集的提供，实现了从输入图像和简单提示生成多样创意编辑指令的目标。通过引入新颖的 ' 用于本地化的标记 ' 机制，我们的模型支持全局和局部编辑操作，并证明了其在提供具有魅力的创意元素且与输入图像和用户初始提示高度相关的指令方面的有效性。

    May, 2024