Aug, 2023

ImageBrush：学习基于示例的图像操纵的视觉上下文指导

PDF
TL;DR本文提出了一种名为 ImageBrush 的新型操作方法，通过学习视觉指示来实现更准确的图像编辑，其中关键思想是利用一对转换图像作为视觉指示来准确捕捉人类意图并在现实场景中实现可访问性。通过将视觉指示的学习形式化为基于扩散填充的图像修复问题，我们的方法可以从仅包含视觉演示的新图像中完全提取出底层意图，并展现了在姿势转移、图像翻译和视频修复等各种后续任务中的强大泛化能力。
language-guided image manipulationinstructionvisual instructionsinpaintinggeneralization capabilities
发现论文，激发创造
  • InstructBrush：基于注意力机制的图像编辑指令优化学习

    基于图像编辑指令的方法近年来在图像编辑中受到重视。然而，尽管这些方法包含了广泛的编辑先验知识，但在处理通过语言难以准确描述的编辑任务时却无能为力。我们提出了一种名为 InstructBrush 的反演方法，用于解决这个问题。该方法从示例图像对中提取编辑效果作为编辑指令，进而用于图像编辑。通过引入注意力机制的编辑指令优化和以转换为导向的编辑指令初始化两项关键技术，InstructBrush 解决了以往方法在反演效果和指令泛化方面的局限性。为了探索指令反演方法在开放场景中指导图像编辑的能力，我们建立了一个以转换为导向的配对基准 (TOP-Bench)，其中包含丰富的场景和编辑类型。这个基准的创建为进一步探索指令反演铺平了道路。定量和定性分析表明，我们的方法在编辑方面取得了更优异的性能，并且在语义上更符合目标编辑效果。

    Mar, 2024

  • 学习忠实地遵循以物体为中心的图像编辑指令

    自然语言指令与图像编辑相结合，通过改进的数据增加监督信号，使模型能够优于最先进的基线技术，在细粒度物体中心编辑方面取得了显著的改进，同时还能推广到训练过程中未见过的领域。

    Oct, 2023

  • Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

    该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

    Mar, 2024

  • 自然语言指令命令下的交互式图像操作

    本论文提出了能够通过自然语言指令生成目标图像的交互式图像处理系统，使用了神经网络处理潜在空间中的图像向量将源向量转换为目标向量，成功地在我们的数据集中利用源图像和操作指令生成目标图像，从而实现更可控、更实用的自然语言条件下的图像生成。

    Feb, 2018

  • 通过多模态大规模语言模型引导基于指导的图像编辑

    通过多模态大语言模型（MLLMs）的指导，MLLM-Guided Image Editing（MGIE）学习能够提供表达性指令和明确引导的图像编辑模型，其通过端到端训练同时捕捉了视觉想象力并执行图像操作。大量实验结果证明，表达性指令对基于指令的图像编辑至关重要，而我们的 MGIE 在保持有竞争力的推理效率的同时，能够显著改善自动度量和人类评估。

    Sep, 2023

  • InstructGIE: 通向通用图像编辑的探索

    一个新的图像编辑框架，通过增强上下文学习能力和统一语言指导以提高泛化鲁棒性，利用 VMamba Block 和编辑偏移匹配策略来增强图像编辑任务的能力，并结合选择性区域匹配技术和语言统一技术来改善生成图像的质量，同时提供第一个利用视觉提示和编辑指导的图像编辑数据集来提高上下文能力。

    Mar, 2024

  • IMProv: 基于修复的多模态计算机视觉任务解题

    本研究提出了 IMProv - 一种生成模型，能够从多模态提示中进行上下文学习，以解决计算机视觉任务，并通过文本条件和数据集缩放来提高任务性能。

    Dec, 2023

  • 视觉指令反演：通过视觉提示进行图像编辑

    通过视觉提示的图像编辑方法可以实现具有竞争力的成果。

    Jul, 2023

  • 基于文本的神经运算：通过文本指令进行图像操作

    本研究提出一种基于 GAN 的多模态图片编辑方法，利用自然语言指令局部修改图片特征，实现对包含多个对象的图像进行编辑，并在三个公共数据集上展示出优异的表现，包括更高的保真度和语义相关性以及更好的图像检索性能。

    Aug, 2020

  • 复杂文本指令下的交互式图像操作

    本研究提出了一种基于复杂文本描述的图像编辑方法，在文本相关部分对输入的图像进行修改，并引入用户界面对生成的图像进行交互式重新修改，实现实时交互、灵活和准确的图像操作。

    Nov, 2022