使用扩散模型进行文本驱动图像编辑的 Prompt Tuning Inversion
我们提出了一种使用文本到图像潜在扩散模型作为通用先验来解决图像逆问题的新方法。我们引入了一种 prompt 调整方法,通过在运行反向扩散过程时动态优化文本嵌入,使得我们能够生成更符合扩散先验的图像。此外,我们提出了一种投影方法,以保持潜在变量在编码器的范围空间内的演化,从而有助于减少图像伪影问题。我们的综合方法 P2L 在各种任务(如超分辨率、去模糊和修复缺失部分)上优于基于图像和潜在扩散模型的逆问题求解器。
Oct, 2023
本文介绍了一种精确的图片逆向生成技术,实现了基于文本的图片编辑,通过引入 Pivotal inversion 和 NULL-text optimization 技术,以条件嵌入为导向,避免了模型权重的繁琐调整,并在真实照片上进行了高保真度编辑。
Nov, 2022
本文提出一种负激励反演方法,通过前向传播实现等效重建来加速处理图像编辑中的扩散模型,实验证明与现有方法相比,我们的方法的重建质量是可比的,更快,可用于改善扩散模型的重建质量。
May, 2023
预测生成式扩散模型所生成图像的文本提示,采用联合回归和多标签词汇分类目标的新型学习框架,结合白盒和黑盒模型解决生成文本提示的问题,并通过课程学习和领域自适应核学习方法进一步改进。实验结果表明,该学习框架在预测文本提示任务上取得了出色的结果,尤其在白盒模型上应用时效果最好,并发现在生成文本到图像时将该模型用于回收训练能够使生成的图像与输入提示更好地对齐。
Aug, 2023
大规模文本 - 图像扩散模型是生成根据输入文本提示的令人信服的图像的突破性发展。图像编辑研究的目标是通过修改文本提示来使用户对生成的图像具有控制能力。在这种情况下,迭代反转(IterInv)技术结合了流行的图像编辑方法,证明了 IterInv 的应用前景。
Oct, 2023
文本引导扩散模型通过分离源图像和目标扩散分支,实现图像编辑的内容保留和编辑保真度优化,通过三行代码实现的直接反演技术在编辑基准测试中表现出卓越的性能和极大的加速。
Oct, 2023
该研究提出了一种名为 Custom-Edit 的文本导向图像编辑方法,使用少量参考图像进行模型自定义,可以显著提高引用相似性同时保持源相似性,适用于各种数据集。
May, 2023
本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息,以更好地保存文本不相关内容并避免相同映射问题,从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡,并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。
May, 2023
LEDITS 是一种轻量级的图像编辑方法,结合了 Edit Friendly DDPM 反演技术和语义引导,能够实现对真实图像的细微和广泛编辑,而无需优化和扩展架构。
Jul, 2023