Dec, 2023

基于无需调优的增强逆控制的一致图像编辑

PDF
TL;DR提出了一种名为 Tuning-free Inversion-enhanced Control (TIC) 的新方法，通过直接关联反演过程和采样过程的特征来缓解 DDIM 重建中的不一致性，实现准确的重建和内容一致性编辑。通过实验证明，该方法在重建和一致性编辑方面优于以前的工作，在各种设置中产生了令人印象深刻的结果。
发现论文，激发创造
  • 无需反转的图像编辑与自然语言

    对于扩散模型，尽管反演性编辑取得了一定进展，但基于文本的图像编辑仍面临困难。本研究提出了一种无需显式反演的编辑方法（InfEdit），通过引入特殊方差调度和统一的注意力控制机制，实现了对图像的稳定编辑和真实还原，且在各种编辑任务中表现出强大的性能和快速的实时应用潜力。

    Dec, 2023

  • 基于视图迭代自注意力控制的无调整视觉定制化

    本文提出了 View Iterative Self-Attention Control (VisCtrl) 作为一种无需进行模型微调的训练方法，通过逐步将参考图像的特征嵌入目标图像，实现了一次去噪便能实现一张参考图像的一致和谐编辑，而且该方法还能在复杂的视觉领域进行扩展。

    Jun, 2024

  • FEC: 提升真实图像编辑一致性的三种无微调方法

    文本条件图像编辑是一项非常有用且具有巨大潜力的任务。我们提出的 FEC 通过三种采样方法解决了重构失败的问题，从而实现了成功重构并提升了图像编辑任务的性能。

    Sep, 2023

  • 使用扩散模型进行文本驱动图像编辑的 Prompt Tuning Inversion

    本文提出了一种基于 Prompt Tuning Inversion 的精确快速反演技术，用于文本驱动的图像编辑，能够在保留输入图像高准确度的同时进行灵活的编辑，实验证明该方法在 ImageNet 数据集上的表现优于现有技术。

    May, 2023

  • 基于图像信息去除的图像转换

    本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡，并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。

    May, 2023

  • 基于图像和文本引导的无需调参图像定制

    通过无需调整的方法，本文提出了一种同时利用文本和图像指导的图像定制方法，允许在几秒钟内精确编辑特定图像区域，通过创新的注意力混合策略，本方法在图像定制中表现优异，是一种高效的解决方案。

    Mar, 2024

  • MasaCtrl: 无需调参实现图像合成和编辑的自注意力控制

    提出了一种名为 MasaCtrl 的调整无需微调的方法，能够同时实现一致的图像生成和复杂的非刚性图像编辑。具体来说，该方法将扩散模型中的自我注意力转换为相互自我注意力，以便对源图像进行一致的局部内容和纹理查询。同时，还提出了一种掩码引导的相互关注策略，可减轻前景和背景之间的查询混乱。大量实验证明，该方法可以在一致的图像生成和复杂的非刚性真实图像编辑方面产生令人印象深刻的结果。

    Apr, 2023

  • BARET：基于平衡关注的实图像编辑引导目标文本逆转

    通过目标文本翻译方案、渐进式过渡方案和平衡关注模块，我们提出了一种新的图像编辑技术，实现了包括非刚性编辑在内的各种编辑类型，并提高了图像编辑的效率和准确性。

    Dec, 2023

  • 无需训练的非刚性编辑中的时间感知采样的潜在倒置

    通过文本引导的非刚性编辑的培训自由方法，提出了一种利用稳定扩散的非刚性编辑的方法，旨在提高身份保留质量而不损害可编辑性。通过文本优化、潜在反转和时间步感知文本注入采样三个阶段来实现该方法。通过广泛的实验验证了该方法在身份保留、可编辑性和美学质量方面的有效性。

    Feb, 2024

  • 基于扩散模型的图像属性编辑的零样本反演过程

    零样本反演过程 (ZIP) 是一个框架，将生成的视觉参考和文本引导注入预训练的去噪扩散模型的语义潜空间中，仅使用一个小型神经网络，ZIP 在文本提示的直观控制下产生多样的内容和属性，并对真实图像上的域内和域外属性操作展现了显著的鲁棒性。与最先进的方法相比，ZIP 在提供逼真的编辑效果的同时，生成了同等质量的图像。

    Aug, 2023