Jun, 2023

PFB-Diff: 文本驱动的图像编辑中的渐进式特征融合扩散

PDF
TL;DR提出了一种基于 PFB-Diff 的渐进式特征融合方法，可以有效地解决各种图像编辑任务，包括对象 / 背景替换和对象属性编辑，无需微调或训练，并展示了其在图像保真度，编辑准确性、效率和对原始图像信实性方面的优越性。
diffusion modelsimage editingfeature blendingattention maskingobject/background replacement
发现论文，激发创造
  • 自然图像文本编辑的混合扩散

    本文介绍了一种基于自然语言描述和兴趣区域掩码进行本地（面向区域的）在通用自然图像中进行编辑的解决方案，利用 CLIP 预训练语言 - 图像模型指导编辑并使用扩散概率模型生成自然外观结果，以及应用扩散过程的增强进行抗击对抗攻击；通过在多个基线和相关方法上的定量和定性比较，表明该方法在整体逼真度、保护背景和匹配文本方面均优于现有解决方案，并展示了多种文本驱动的编辑应用，如添加新对象，删除 / 替换 / 修改现有对象，背景替换和图像推理。

    Nov, 2021

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 差分扩散：赋予每个像素以其强度

    提出一种新的框架，使用户能够为每个图像碎片自定义更改量，增强了现代扩散模型的灵活性和表达能力，且无需模型训练或微调，可直接应用于现有模型，量化和定性结果表明，该方法实现了更好的可控性，并可产生现有模型无法达到的结果。

    Jun, 2023

  • TokenFlow：一致扩散特征用于一致视频编辑

    基于文本驱动的视频编辑，我们介绍了一个利用文本到图像扩散模型的框架，生成高质量视频的同时保留输入视频的空间布局和运动，实现编辑视频的一致性。

    Jul, 2023

  • 基于 DDPM 的变化检测的特征操作

    拟议了两种方法：Feature Attention 和 FDAF，将从扩散模型中提取的特征图进行语义上有用的操作；在 LEVIR-CD 数据集上，使用 Feature Attention 的模型获得了 F1 值（90.18）和 IoU 值（83.86）的最新成绩。

    Mar, 2024

  • 揭示扩散特征在个性化分割与检索中的力量

    个性化检索和分割旨在基于输入图像和参考实例的简短描述在数据集中定位特定实例。本文探讨了用于这些任务的文本到图像扩散模型，并提出了一种名为 PDM 的新方法，该方法利用预训练的文本到图像模型的中间特征进行个性化任务而无需其他训练。PDM 在常见的检索和分割基准上展示了卓越的性能，甚至超过了监督方法。此外，本文还强调了当前实例和分割数据集的明显缺点，并提出了这些任务的新基准。

    May, 2024

  • FreeDiff: 基于扩散模型的图像编辑的递进频率截断

    通过频率截断的方法，我们提出了一种新颖的 fine-tuning 自由方法用于改善扩散模型的引导，从而实现了在各种编辑任务和不同图像集上与最先进方法相媲美的结果，突显了它在图像编辑应用中的多功能潜力。

    Apr, 2024

  • 基于文本模态的图像特征提取用于检测基于扩散的深度伪造

    通过传统图像编码器提取的特征分析发现，无论是低级特征还是高级特征都对于识别不同扩散方法制作的 DeepFake 图像具有独特的优势。受到这一发现的启发，我们旨在开发一种有效的表示方法，以捕捉低级和高级特征来检测基于扩散的 DeepFakes。为了解决这个问题，我们提出了一种文本模态导向的特征提取方法，称为 TOFE。具体而言，对于给定的目标图像，我们发现的表示是一个相应的文本嵌入，可引导具有特定文本到图像模型的目标图像生成。在十种扩散类型的实验中证明了我们提出的方法的功效。

    May, 2024

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023