差分扩散:赋予每个像素以其强度
本研究介绍了一种基于文本的图像编辑方法,利用最新的扩散模型对一些基于文本主题的地方图像进行编辑,通过结合扩散模型的速度和 Blended Diffusion,提高了编辑的效率,并通过优化方法来解决扩散模型无法完美重建图像的问题,实现了比当前方法更高的精度和速度
Jun, 2022
本文提出了一种基于语义的分层控制图像编辑方法 ——LayerDiffusion,通过对大规模文本转图像模型的利用,结合分层控制优化策略和分层扩散训练,实现特定主题属性的非刚性编辑和属性修改,同时保持其独特的特征并无缝地融入新背景,而在扩散过程中采用迭代引导策略生成与文字描述相符的最终图像,在实验结果中发现 LayerDiffusion 能够生成高度一致、与给定文本描述密切符合的图像,同时保持与输入图像相似的特征,超越了当前领先的图像编辑方法,开启了图像编辑的新可能性。
May, 2023
该研究提出了一种名为 Custom-Edit 的文本导向图像编辑方法,使用少量参考图像进行模型自定义,可以显著提高引用相似性同时保持源相似性,适用于各种数据集。
May, 2023
我们提出了 DiffEditor 方法,利用图像提示和文本提示来改善细粒度的图像编辑,通过在扩散采样中引入局部组合的随机微分方程 (SDE),梯度引导和时间旅行策略,我们的方法在各种细粒度图像编辑任务中取得了最先进的性能。
Feb, 2024
本文提出了一种基于条件扩散模型的语义图像编辑方法 DiffEdit,能够自动生成需要编辑的图像区域的遮罩,并利用潜在推理保留感兴趣区域的内容,该方法在 ImageNet 数据集上实现了最先进的编辑表现。
Oct, 2022
本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion,并通过优化扩散模型潜在空间实现精确的空间控制。
Jun, 2023
本文旨在提高高质量图像的合成与精确文字自定义,为图像生成模型的进步做出贡献。我们提出的方法名为 CustomText,利用预训练的 TextDiffuser 模型实现对字体颜色、背景和类型的控制。为了解决小字体渲染的挑战,我们训练了 ControlNet 模型用于一致性解码,从而显著提高了文字生成性能。我们通过与先前的文本图像生成方法在公开可用的 CTW-1500 数据集和自编数据集上的比较评估了 CustomText 的性能,并展示出优越的结果。
May, 2024
基于层次扩散刷子的实时图像编辑技术结合了图像编辑概念,通过精细的区域导向修改中间去噪步骤,保持输入图像的完整性和上下文,并在高端消费级 GPU 上在 140 毫秒内呈现 512x512 图像的单个编辑,从而实现实时反馈和候选编辑的快速探索。通过用户研究验证了方法和编辑系统的可行性和有效性,对比了现有技术如 InstructPix2Pix 和 Stable Diffusion Inpainting 在图像优化方面的表现。该方法在对象属性调整、错误修正和顺序提示式对象放置和操作等各种任务上表现出有效性,展示了它提升创作工作流程的多功能性和潜力。
May, 2024
本文介绍了一种基于自然语言描述和兴趣区域掩码进行本地(面向区域的)在通用自然图像中进行编辑的解决方案,利用 CLIP 预训练语言 - 图像模型指导编辑并使用扩散概率模型生成自然外观结果,以及应用扩散过程的增强进行抗击对抗攻击;通过在多个基线和相关方法上的定量和定性比较,表明该方法在整体逼真度、保护背景和匹配文本方面均优于现有解决方案,并展示了多种文本驱动的编辑应用,如添加新对象,删除 / 替换 / 修改现有对象,背景替换和图像推理。
Nov, 2021