Oct, 2020

基于语言的图像编辑基准和基线

PDF
TL;DR本文介绍了一种利用语言驱动的图像编辑技术节省大量编辑工作量并对摄影新手友好，作者提出了一种支持本地和全局编辑的新技术方法，并构建了一个数据集用于支持本文所提出方法的研发，并且该方法在用户数据测试中表现良好，能够自动预测操作参数，具有高度的可解释性。
language-drivenimage editingdatasetediting operationinterpretable
发现论文，激发创造
  • 通过规划学习：语言指导的全局图像编辑

    该研究提出了一种基于文本到操作的模型，用于将编辑语言请求转换为一系列可解释且可区分的编辑操作，同时提出了一种操作规划算法以生成从目标图像中的伪地面真实性中可能的编辑序列。

    Jun, 2021

  • InstructGIE: 通向通用图像编辑的探索

    一个新的图像编辑框架，通过增强上下文学习能力和统一语言指导以提高泛化鲁棒性，利用 VMamba Block 和编辑偏移匹配策略来增强图像编辑任务的能力，并结合选择性区域匹配技术和语言统一技术来改善生成图像的质量，同时提供第一个利用视觉提示和编辑指导的图像编辑数据集来提高上下文能力。

    Mar, 2024

  • 通过可学习区域实现基于文本的图像编辑

    这篇论文介绍了一种基于文本提示的区域图像编辑方法，无需用户提供的掩码或草图，通过利用现有的预训练文本到图像模型和引入边界框生成器来找到与文本提示对齐的编辑区域，实现了与当前图像生成模型兼容的灵活的编辑，并处理了包含多个对象、复杂句子或长段落的复杂提示。通过广泛的用户研究实验证明我们方法在操纵图像时与提供的语言描述相一致，具有高保真度和逼真度的竞争性表现。

    Nov, 2023

  • 基于优化的多模态语义图像编辑

    我们提出了一种推理时间编辑优化方法，旨在通过两个专门的损失函数，成功地完成本地图像修改和全局内容一致性保留的竞争子任务，实现文本、姿势和涂鸦等多种编辑指令类型的灵活编辑解决方案，并通过定性和定量实验证明了我们能够实现复杂的编辑。

    Nov, 2023

  • Pix2Pix-OnTheFly：借助 LLMs 实现指导图像编辑

    该研究论文通过语言处理和图像处理的组合吸引了越来越多的关注，其中一项最具挑战性的任务是仅基于自然语言指令对图像进行编辑。本论文提出了一种无需准备的方法，通过图像字幕和 DDIM 反演、获取编辑方向嵌入以及图像编辑等三个步骤有效地进行指令引导的图像编辑，该方法在 MAGICBRUSH 数据集上表现出色，优于最新的先进模型。

    Mar, 2024

  • iEdit: 弱监督下的本地化文本指导图像编辑

    提出了一种新的学习方法 iEdit，用于文本引导的图像编辑，包括数据集的自动构建、无监督损失函数和分割掩模引导编辑。该模型在 200K 个样本的数据集上进行训练，并在图像保真度、CLIP 对齐性得分和编辑生成和真实图像方面显示出优越的结果。

    May, 2023

  • KEBench: 大型视觉语言模型的知识编辑基准

    基于多模态知识图，本研究构建了一个新的基准评估 $ extbf {KEBench}$，并扩展了一种新的评估指标（可移植性），通过对五个大型视觉语言模型进行不同编辑方法的实验，深入分析这些方法对模型的影响，揭示了这些方法的优点和不足，为未来的研究提供了启示。

    Mar, 2024

  • 基于循环注意模型的语言图像编辑

    本文介绍了一种通过自然语言描述编辑图片的方法，使用基于递归注意力模型的通用框架，包括图像分割和图像着色两个子任务，并引入终止门来动态决定是否从文本描述中继续提取信息，该框架在 CoSaL、ReferIt 和 Oxford-102 Flowers 数据集上取得了良好的效果。

    Nov, 2017

  • OBJECT 3DIT：语言引导的三维感知图像编辑

    通过语言指导的 3D 感知编辑，本研究利用图像编辑工具对基于底层 3D 场景的对象进行编辑，介绍了 OBJECT 数据集和 3DIT 模型的能力。

    Jul, 2023

  • 区域：零样本指导下的局部编辑

    基于 Zero-shot 指令引导的局部图像编辑方法 ZONE 通过转换用户提供的指令，实现了对特定图像区域的任意操作，同时保留其他区域的编辑友好性，展现了出色的局部编辑效果，优于现有的最先进方法。

    Dec, 2023