Mar, 2024

InstructBrush：基于注意力机制的图像编辑指令优化学习

PDF
TL;DR基于图像编辑指令的方法近年来在图像编辑中受到重视。然而，尽管这些方法包含了广泛的编辑先验知识，但在处理通过语言难以准确描述的编辑任务时却无能为力。我们提出了一种名为 InstructBrush 的反演方法，用于解决这个问题。该方法从示例图像对中提取编辑效果作为编辑指令，进而用于图像编辑。通过引入注意力机制的编辑指令优化和以转换为导向的编辑指令初始化两项关键技术，InstructBrush 解决了以往方法在反演效果和指令泛化方面的局限性。为了探索指令反演方法在开放场景中指导图像编辑的能力，我们建立了一个以转换为导向的配对基准 (TOP-Bench)，其中包含丰富的场景和编辑类型。这个基准的创建为进一步探索指令反演铺平了道路。定量和定性分析表明，我们的方法在编辑方面取得了更优异的性能，并且在语义上更符合目标编辑效果。
instruction-based image editinginstructbrushediting effectsattention-based instruction optimizationtransformation-oriented instruction initialization
发现论文，激发创造
  • ImageBrush：学习基于示例的图像操纵的视觉上下文指导

    本文提出了一种名为 ImageBrush 的新型操作方法，通过学习视觉指示来实现更准确的图像编辑，其中关键思想是利用一对转换图像作为视觉指示来准确捕捉人类意图并在现实场景中实现可访问性。通过将视觉指示的学习形式化为基于扩散填充的图像修复问题，我们的方法可以从仅包含视觉演示的新图像中完全提取出底层意图，并展现了在姿势转移、图像翻译和视频修复等各种后续任务中的强大泛化能力。

    Aug, 2023

  • Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

    该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

    Mar, 2024

  • MagicBrush: 一个手动注释的数据集用于指导图像编辑

    MagicBrush 是第一个大规模手动注释的指令引导真实图像编辑数据集，包括单回合、多回合、提供掩码和自由掩码编辑等多种场景，通过 MagicBrush fine-tune InstructPix2Pix 模型并进行了人类评价，结果展示出了我们的数据集的挑战性以及当前算法与真实世界编辑需求之间的差距。

    Jun, 2023

  • 视觉指令反演：通过视觉提示进行图像编辑

    通过视觉提示的图像编辑方法可以实现具有竞争力的成果。

    Jul, 2023

  • 学习忠实地遵循以物体为中心的图像编辑指令

    自然语言指令与图像编辑相结合，通过改进的数据增加监督信号，使模型能够优于最先进的基线技术，在细粒度物体中心编辑方面取得了显著的改进，同时还能推广到训练过程中未见过的领域。

    Oct, 2023

  • InstructPix2Pix: 学习图像编辑指令

    我们提出了一种图像编辑方法，可以根据用户的书面指令编辑图像，同时我们结合了两个预训练模型的知识生成了大量训练数据，使用训练好的模型可以快速地编辑图像，并且可以适用于不同的输入图像和书面指令。

    Nov, 2022

  • 专注于您的指导：通过注意力调节进行细粒度和多指令图像编辑

    通过引入 “Focus on Your Instruction (FoI)” 方法，该论文提出了一种基于扩散的编辑方法，能够实现精确和和谐的多指令编辑，优于现有方法的定量和定性评估。

    Dec, 2023

  • InstructEdit：用于大型语言模型的指令基础知识编辑

    大规模语言模型的知识编辑可以提供一种有效的解决方案，以改变模型的行为而不会对整体性能产生负面影响。为了解决当前方法在任务上的有限泛化能力的问题，我们采取了第一步来分析知识编辑中的多任务泛化问题。具体而言，我们开发了一种基于指令的编辑技术，称为 InstructEdit，它通过简单的指令同时促进编辑器对不同任务性能的适应。通过仅使用一个统一的编辑器为每个大规模语言模型，我们经验证明 InstructEdit 可以提高编辑器的控制能力，在多任务编辑设置中可平均提高 14.86％的可靠性。此外，涉及未见任务的实验表明 InstructEdit 始终优于先前的强基准。为了进一步研究基于指令的知识编辑的基本机制，我们分析了编辑梯度方向的主要成分，发现指令可以帮助控制具有更强的无法覆盖的泛化能力的优化方向。代码和数据集将在此 https URL 中提供。

    Feb, 2024

  • InstructBLIP：通过指导微调实现通用的视觉 - 语言模型

    本研究系统全面地研究了基于预训练系统的 BLIP-2 视觉语言模型的指导调整方法。通过构建 InstructBLIP 模型和使用指导语音特征提取，该模型在 13 个测试集上全面超越 BLIP-2 和更大的 Flamingo 模型，在单个下游任务的微调中获得了最先进的性能。

    May, 2023

  • 点和指导：通过统一直接操作和文本指令实现精确图像编辑

    将直接操作和文本指令相结合，可实现精确图像操作。用户可以通过视觉标记对象和位置，然后在文本指令中引用它们，从而在自然语言的视觉描述性和直接操作的空间精度之间实现有益的结合。

    Feb, 2024