Nov, 2023

基于优化的多模态语义图像编辑

PDF
TL;DR我们提出了一种推理时间编辑优化方法，旨在通过两个专门的损失函数，成功地完成本地图像修改和全局内容一致性保留的竞争子任务，实现文本、姿势和涂鸦等多种编辑指令类型的灵活编辑解决方案，并通过定性和定量实验证明了我们能够实现复杂的编辑。
image editinginference-time editing optimizationediting taskloss functionsqualitative and quantitative experiments
发现论文，激发创造
  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • AdapEdit: 基于时空引导的自适应编辑算法，用于基于文本连续感知的图像编辑

    为了生成用户定制的视觉内容，本文提出了一种时空引导自适应编辑算法 AdapEdit，通过引入软注意力策略从时空角度动态变化编辑条件对视觉像素的引导程度，成功实现了自适应图像编辑，并在各种原始图像和编辑指令上展示了竞争性能并显著超越了以前的方法。

    Dec, 2023

  • SmartEdit: 利用多模型大型语言模型探索基于复杂指令的图像编辑

    SmartEdit 是一种基于指令的图像编辑方法，利用多模态大型语言模型（MLLMS）增强理解和推理能力，并通过双向交互模块实现输入图像和 MLLM 输出之间的综合双向信息交互，从而实现更复杂指令下的图像编辑。通过新构建的 Reason-Edit 评估数据集，定量和定性结果表明 SmartEdit 优于先前的方法，为复杂指令 - based 图像编辑的实际应用铺平了道路。

    Dec, 2023

  • 基于语言的图像编辑基准和基线

    本文介绍了一种利用语言驱动的图像编辑技术节省大量编辑工作量并对摄影新手友好，作者提出了一种支持本地和全局编辑的新技术方法，并构建了一个数据集用于支持本文所提出方法的研发，并且该方法在用户数据测试中表现良好，能够自动预测操作参数，具有高度的可解释性。

    Oct, 2020

  • 使用场景图进行语义图像处理

    本文主要探讨了基于场景图像进行图像编辑的问题，介绍了一种无需直接监督训练的空间 - 语义场景图网络，并通过实验验证了其能够实现在保留原始语义和风格的情况下生成新的图像构成和实现图像编辑。

    Apr, 2020

  • Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

    该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

    Mar, 2024

  • 通过多模态大规模语言模型引导基于指导的图像编辑

    通过多模态大语言模型（MLLMs）的指导，MLLM-Guided Image Editing（MGIE）学习能够提供表达性指令和明确引导的图像编辑模型，其通过端到端训练同时捕捉了视觉想象力并执行图像操作。大量实验结果证明，表达性指令对基于指令的图像编辑至关重要，而我们的 MGIE 在保持有竞争力的推理效率的同时，能够显著改善自动度量和人类评估。

    Sep, 2023

  • CIMGEN：有限数据下基于预训练生成模型的受控图像操纵

    提出的方法通过修改语义图像来灵活地生成和编辑图像，利用预先训练的图像到图像转换 GAN 进行改进，并展示了在图像伪造和图像编辑领域中的性能和应用，以及对抗深度学习图像取证技术的有效性和开发鲁棒且可推广的图像取证工具的紧迫需求。

    Jan, 2024

  • InstructGIE: 通向通用图像编辑的探索

    一个新的图像编辑框架，通过增强上下文学习能力和统一语言指导以提高泛化鲁棒性，利用 VMamba Block 和编辑偏移匹配策略来增强图像编辑任务的能力，并结合选择性区域匹配技术和语言统一技术来改善生成图像的质量，同时提供第一个利用视觉提示和编辑指导的图像编辑数据集来提高上下文能力。

    Mar, 2024

  • 鸸鹋编辑：通过识别和生成任务进行精确图像编辑

    Emu Edit 是一个多任务图像编辑模型，通过训练在广泛的任务上展示出卓越的性能，引入了学习任务嵌入来指导生成过程，使其能够成功执行用户的自然语言指令，并且能够推广到新的任务，并发布了一个多样化的基准模型进行评估。

    Nov, 2023