Mar, 2024

物品有价值：具有分离控制的多用途图像编辑

PDF
TL;DR基于预训练的扩散模型，我们提出了一种名为 D-Edit 的框架，通过在特定物品上操作相应提示来实现多样化的图像编辑，涵盖基于图像、文本、掩膜和物品删除的四种编辑操作类型，展示了编辑结果的质量和多样性。
text-to-image diffusion modelsimage editingprompt spacediffusion modelsitem-prompt interactions
发现论文，激发创造
  • 跨注意控制的提示到提示图像编辑

    该文提出了一种基于文本的图像编辑框架，利用交叉注意力层控制图像布局和文本之间的关系，实现了在不改变原始内容情况下的全局和局部编辑，从而达到高质量的图像合成。

    Aug, 2022

  • 动态提示学习：解决文本为基础的图像编辑中的交叉注意力泄漏问题

    基于大规模的文本到图像生成模型，本研究针对图像编辑的问题，通过动态提示学习 (DPL) 方法修复交叉注意力图，实现对特定对象的精细图像编辑，防止对其他图像区域的意外更改。通过广泛的评估，DPL 方法在多个指标上取得了卓越的结果，尤其是在复杂的多物体场景中进行的提示编辑，包括单词替换、提示改进和注意力重新加权。

    Sep, 2023

  • 利用字幕和注入技术实现最小文本输入的用户友好型图像编辑

    本文提出了两种基于提示生成框架的简单而有效的方法，以改善基于文本的图像编辑过程中用户工程的问题，并通过定性和定量实验证明了提示在基于文本的图像编辑中的重要性以及我们的方法可以与基于参考的提示相媲美。

    Jun, 2023

  • iEdit: 弱监督下的本地化文本指导图像编辑

    提出了一种新的学习方法 iEdit，用于文本引导的图像编辑，包括数据集的自动构建、无监督损失函数和分割掩模引导编辑。该模型在 200K 个样本的数据集上进行训练，并在图像保真度、CLIP 对齐性得分和编辑生成和真实图像方面显示出优越的结果。

    May, 2023

  • 使用扩散模型进行文本驱动图像编辑的 Prompt Tuning Inversion

    本文提出了一种基于 Prompt Tuning Inversion 的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在 ImageNet 数据集上的表现优于现有技术。

    May, 2023

  • 对比提示改善文本到图像扩散模型中的解缠

    通过对分类器的自由引导的简单修改，该论文展示了 Contrastive Guidance 方法可以帮助在文本到图像模型中解开图像因素，从而提供对图像因素更精细的控制。该方法的关键思想是使用两个仅在最小标记上有差异的提示对所需的因素进行描述，其中正面提示描述待合成的图像，基准提示作为 “基准” 以解开其他因素。这种方法在三个场景下的优势体现为：（1）指导在对象类上训练的领域特定扩散模型，（2）为文本到图像生成提供连续的、类似骨骼的控制，以及（3）提高零 - shot 图像编辑器的性能。

    Feb, 2024

  • 基于扩散的语义图像编辑与掩模引导

    本文提出了一种基于条件扩散模型的语义图像编辑方法 DiffEdit，能够自动生成需要编辑的图像区域的遮罩，并利用潜在推理保留感兴趣区域的内容，该方法在 ImageNet 数据集上实现了最先进的编辑表现。

    Oct, 2022

  • 零遮挡文本驱动的面部编辑

    本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

    Aug, 2023

  • 基于扩散模型的源提示解缠的图像可编辑性增强

    使用文本驱动扩散模型改进图像编辑性能，通过源提示的逆变将原始图像转化为与目标文本提示无关的潜在噪声代码，实现图像编辑的可操作性。

    Mar, 2024

  • 视觉指令反演：通过视觉提示进行图像编辑

    通过视觉提示的图像编辑方法可以实现具有竞争力的成果。

    Jul, 2023