May, 2023

FISEdit: 通过启用缓存的稀疏扩散推理加速文本到图像编辑

PDF
TL;DR提出了一个使用缓存优化的稀疏扩散模型推断引擎（FISEdit），用于高效的文本到图像编辑，结果表明，使用 FISEdit 可以提高推断速度至少 3.4 倍，并获得更高质量的图像。
text-to-image generationdiffusion modelstext-to-image editingimage generationinference efficiency
发现论文，激发创造
  • 基于扩散的语义图像编辑与掩模引导

    本文提出了一种基于条件扩散模型的语义图像编辑方法 DiffEdit，能够自动生成需要编辑的图像区域的遮罩，并利用潜在推理保留感兴趣区域的内容，该方法在 ImageNet 数据集上实现了最先进的编辑表现。

    Oct, 2022

  • 基于扩散的高效图像编辑与即时关注蒙版

    我们在这篇论文中提出了一种名为 InstDiffEdit 的新型高效图像编辑方法，它利用现有扩散模型的跨模态注意力能力，在扩散步骤中实现了即时的遮罩引导。我们将 InstDiffEdit 与 SOTA 方法进行了广泛的实验证明，结果显示它在图像质量和编辑结果方面不仅优于 SOTA 方法，而且推理速度快 5 至 6 倍。

    Jan, 2024

  • DiffEditor：基于扩散的图像编辑中的准确性和灵活性增强

    我们提出了 DiffEditor 方法，利用图像提示和文本提示来改善细粒度的图像编辑，通过在扩散采样中引入局部组合的随机微分方程 (SDE)，梯度引导和时间旅行策略，我们的方法在各种细粒度图像编辑任务中取得了最先进的性能。

    Feb, 2024

  • Forgedit：通过学习和遗忘进行文本指导的图像编辑

    通过图像重建、文本嵌入以及使用 UNet 结构和扩散模型，我们设计了一种新的文本引导图像编辑方法 Forgedit，具有强大的编辑能力，并在具有挑战性的文本引导图像编辑基准测试 TEdBench 中超越了以往的方法 Imagic，实现了最新的 state-of-the-art 结果。

    Sep, 2023

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • 通过混合掩膜信息融合提升文本到图像编辑

    基于扩散模型，本文旨在系统性地改进文本引导的图像编辑技术，以解决其局限性，通过在模型的自注意机制中引入人为注释来限制编辑范围，并将编辑后的图像与源图像和构建的中间图像进行融合，实验证明所提出的 ``MaSaFusion'' 显著提高了现有的文本到图像编辑技术。

    May, 2024

  • 多方位编辑：文本到图像传播模型下的同时多层面编辑

    本文介绍了 MultiEdits 方法，它通过创新的注意力分配机制和多分支设计，实现了在多个属性上同时进行编辑的无缝管理，并显著提高了多任务编辑的性能。同时，我们还引入了 PIE-Bench++ 数据集，该数据集是原始 PIE-Bench 数据集的扩展，以更好地支持同时涉及多个对象和属性的文本驱动图像编辑任务的评估。

    Jun, 2024

  • Free-Editor: 零样本条件下的基于文本的 3D 场景编辑

    提出了一种新颖的无需重新训练模型的 3D 场景编辑技术 Free-Editor，采用单视图编辑方案以避免多视角风格不一致问题，并使用 Edit Transformer 实现视图内一致性和视图间风格迁移，实现了快速且多样化的编辑能力。

    Dec, 2023

  • Slicedit: 使用时空切片的文本到图像传扩模型的零样本视频编辑

    通过利用预训练的 T2I 扩散模型处理空间和时空切片，我们提出了一种基于文本的视频编辑方法 Slicedit，能够生成保留原始视频结构和动作并满足目标文本的视频，相对于现有竞争方法，我们证明了 Slicedit 在编辑各种真实世界视频方面的明显优势。

    May, 2024

  • 基于图像信息去除的图像转换

    本文提出了一种利用 Image Information Removal 模块来精准地去除原始图像中与颜色和纹理相关的信息，以更好地保存文本不相关内容并避免相同映射问题，从而实现文本到图像编辑的方法。我们的方法在三个基准数据集上达到了最佳的可编辑性 - 保真度的平衡，并且我们的编辑图像比 COCO 上的之前的艺术作品更受注释者的欢迎。

    May, 2023