May, 2024

EditWorld: 模拟世界动力学用于指导图像编辑

PDF
TL;DR通过引入一项名为 EditWorld 的新编辑任务，本研究通过使用预训练模型在新的图像编辑数据集上进行训练，并采用设计的后期编辑策略来提高指令跟踪能力，从而显著优于现有的编辑方法，以实现由世界情景提供的图像编辑指令的理解和模拟。
image editingdiffusion modelsinstruction-based editingworld-instructed image editingsimulation of world dynamics
发现论文，激发创造
  • InstructPix2Pix: 学习图像编辑指令

    我们提出了一种图像编辑方法，可以根据用户的书面指令编辑图像，同时我们结合了两个预训练模型的知识生成了大量训练数据，使用训练好的模型可以快速地编辑图像，并且可以适用于不同的输入图像和书面指令。

    Nov, 2022

  • InstructEdit：通过用户指令改进基于扩散的图像编辑自动蒙版

    本文提出了一种名为 InstructEdit 的框架，其中包括了语言处理器，分段器和图像编辑器三个组件，这种框架可以根据用户的指令进行细粒度的编辑，且在输入图像中包含复杂对象或多个对象的精细编辑应用中表现优异。

    May, 2023

  • 4D 场景的 4D 编辑：利用 2D 扩散将其编辑为伪 3D 场景

    本文提出了 Instruct 4D-to-4D 方法，用于实现 2D 扩散模型的 4D 感知和时空一致性，以生成高质量的指导动态场景编辑结果。

    Jun, 2024

  • 学习忠实地遵循以物体为中心的图像编辑指令

    自然语言指令与图像编辑相结合，通过改进的数据增加监督信号，使模型能够优于最先进的基线技术，在细粒度物体中心编辑方面取得了显著的改进，同时还能推广到训练过程中未见过的领域。

    Oct, 2023

  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • InstructGIE: 通向通用图像编辑的探索

    一个新的图像编辑框架，通过增强上下文学习能力和统一语言指导以提高泛化鲁棒性，利用 VMamba Block 和编辑偏移匹配策略来增强图像编辑任务的能力，并结合选择性区域匹配技术和语言统一技术来改善生成图像的质量，同时提供第一个利用视觉提示和编辑指导的图像编辑数据集来提高上下文能力。

    Mar, 2024

  • EffiVED: 基于文本指令扩散模型的高效视频编辑

    EffiVED 是一种基于扩散的高效模型，支持指导视频编辑；采用图像编辑数据集和开放世界视频转化为高质量数据集进行训练；实验证明 EffiVED 生成高质量编辑视频且执行速度快，并且数据收集方法显著改善编辑性能，有望解决视频编辑数据的稀缺问题。

    Mar, 2024

  • Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

    该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

    Mar, 2024

  • InstructHumans: 使用指令编辑动画人物的 3D 纹理

    本研究提出 InstructHumans，一个基于指令驱动的三维人体纹理编辑框架，通过选择性地整合 Score Distillation Sampling (SDS) 的子项，结合空间平滑正则化和基于梯度的视点采样，实现了高质量、锐利且高保真度的编辑效果，显著优于现有的三维编辑方法，能够在保持源头人物一致性的同时满足文本指令要求。

    Apr, 2024

  • MoEController: 使用混合专家控制器进行基于指令的任意图像操作

    基于扩散模型的文字引导图像生成在开放领域图像处理任务中取得了令人惊讶的进展，本研究提出了一种混合专家控制器的方法，以将不同类型的人类指令与不同的扩散模型的文字引导能力相结合，实现对各种开放领域图像处理任务的处理。

    Sep, 2023