Jun, 2023

MagicBrush: 一个手动注释的数据集用于指导图像编辑

PDF
TL;DRMagicBrush 是第一个大规模手动注释的指令引导真实图像编辑数据集，包括单回合、多回合、提供掩码和自由掩码编辑等多种场景，通过 MagicBrush fine-tune InstructPix2Pix 模型并进行了人类评价，结果展示出了我们的数据集的挑战性以及当前算法与真实世界编辑需求之间的差距。
text-guided image editingmanually annotated datasetinstructpix2pixhuman evaluationreal-world editing needs
发现论文，激发创造
  • ImageBrush：学习基于示例的图像操纵的视觉上下文指导

    本文提出了一种名为 ImageBrush 的新型操作方法，通过学习视觉指示来实现更准确的图像编辑，其中关键思想是利用一对转换图像作为视觉指示来准确捕捉人类意图并在现实场景中实现可访问性。通过将视觉指示的学习形式化为基于扩散填充的图像修复问题，我们的方法可以从仅包含视觉演示的新图像中完全提取出底层意图，并展现了在姿势转移、图像翻译和视频修复等各种后续任务中的强大泛化能力。

    Aug, 2023

  • InstructBrush：基于注意力机制的图像编辑指令优化学习

    基于图像编辑指令的方法近年来在图像编辑中受到重视。然而，尽管这些方法包含了广泛的编辑先验知识，但在处理通过语言难以准确描述的编辑任务时却无能为力。我们提出了一种名为 InstructBrush 的反演方法，用于解决这个问题。该方法从示例图像对中提取编辑效果作为编辑指令，进而用于图像编辑。通过引入注意力机制的编辑指令优化和以转换为导向的编辑指令初始化两项关键技术，InstructBrush 解决了以往方法在反演效果和指令泛化方面的局限性。为了探索指令反演方法在开放场景中指导图像编辑的能力，我们建立了一个以转换为导向的配对基准 (TOP-Bench)，其中包含丰富的场景和编辑类型。这个基准的创建为进一步探索指令反演铺平了道路。定量和定性分析表明，我们的方法在编辑方面取得了更优异的性能，并且在语义上更符合目标编辑效果。

    Mar, 2024

  • Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

    该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

    Mar, 2024

  • MagicLens：自我监督图像检索与开放式指令

    利用文本指令和多模态模型实现自我监督图像检索，能够检索到具有丰富关系的图像，超过了先前最先进的方法，并且模型体积更小，同时支持多样的搜索意图。

    Mar, 2024

  • Magicremover：无需调整的文本引导图像修复与扩散模型

    MagicRemover 是一种基于强大的扩散模型进行文本引导的图像修复的无需调参方法，通过引入注意力引导策略来限制扩散模型的采样过程，实现指定区域的擦除和遮挡内容的恢复，同时提出一种分类器优化算法以在少量采样步骤内提高去噪稳定性，并通过定量评估和用户研究与最先进的方法进行广泛的比较，显示出 MagicRemover 在高质量图像修复上的显著改进。

    Oct, 2023

  • Imagen Editor 和 EditBench：推进和评估文本引导的图像修补

    本文提出了一种基于文本指导的图像编辑系统 Imagen Editor，通过利用对象检测器提出文本提示的修复遮罩并使用高分辨率图像来处理细节来实现忠实于输入文本且与输入图像一致的编辑，并提出一个名为 EditBench 的系统化基准来评估编辑效果。研究发现在训练过程中进行对象遮罩处理，可以显著提高文本与图像的对齐度和整体渲染效果，同时相较于文本渲染而言，这种方法在物体渲染和处理材料 / 颜色 / 大小属性上效果更佳。

    Dec, 2022

  • HQ-Edit：面向基于指令的图像编辑的高质量数据集

    本研究介绍了 HQ-Edit，这是一个包含约 200,000 个编辑的高质量基于指令的图像编辑数据集。通过利用先进的基础模型 GPT-4V 和 DALL-E 3，我们构建了一个可扩展的数据收集流程，收集了多样的在线示例，并使用这些示例创建了具有详细文本提示的高质量双联图像，通过后期处理确保了精确的对齐。此外，我们提出了两个评估指标 Alignment 和 Coherence，通过使用 GPT-4V 对图像编辑对的质量进行定量评估。HQ-Edit 的高分辨率图像以及伴随的全面编辑提示大大增强了现有图像编辑模型的能力，例如，经过微调的 InstructPix2Pix 可以达到最先进的图像编辑性能，甚至超过那些使用人工标注数据进行微调的模型。

    Apr, 2024

  • InstructPix2Pix: 学习图像编辑指令

    我们提出了一种图像编辑方法，可以根据用户的书面指令编辑图像，同时我们结合了两个预训练模型的知识生成了大量训练数据，使用训练好的模型可以快速地编辑图像，并且可以适用于不同的输入图像和书面指令。

    Nov, 2022

  • InstructEdit：通过用户指令改进基于扩散的图像编辑自动蒙版

    本文提出了一种名为 InstructEdit 的框架，其中包括了语言处理器，分段器和图像编辑器三个组件，这种框架可以根据用户的指令进行细粒度的编辑，且在输入图像中包含复杂对象或多个对象的精细编辑应用中表现优异。

    May, 2023

  • 学习忠实地遵循以物体为中心的图像编辑指令

    自然语言指令与图像编辑相结合，通过改进的数据增加监督信号，使模型能够优于最先进的基线技术，在细粒度物体中心编辑方面取得了显著的改进，同时还能推广到训练过程中未见过的领域。

    Oct, 2023