Apr, 2024

懒惰扩散转换器用于交互式图像编辑

PDF
TL;DR我们介绍了一种新颖的扩散变换器 LazyDiffusion，可高效地生成部分图像更新。我们的方法针对交互式图像编辑应用，其中用户使用二进制掩码和文本提示指定一系列局部图像修改。我们的生成器分为两个阶段：首先，上下文编码器对当前画布和用户掩码进行处理，以生成与待生成区域相适应的简洁全局上下文。其次，在此上下文的条件下，基于扩散的变换器解码器以 “懒惰” 的方式合成掩码像素，即仅生成掩码区域。我们的解码器的运行时间与掩码大小成比例，而我们的编码器几乎不会引入额外开销。我们证明，我们的方法在质量和保真度方面与最先进的修复方法相当，同时为典型的用户交互提供 10 倍的加速，其中编辑掩码占图像的 10%。
diffusion transformerlazydiffusioninteractive image editingimage modificationsinpainting methods
发现论文，激发创造
  • 使用分层扩散笔简化图像编辑

    基于层次扩散刷子的实时图像编辑技术结合了图像编辑概念，通过精细的区域导向修改中间去噪步骤，保持输入图像的完整性和上下文，并在高端消费级 GPU 上在 140 毫秒内呈现 512x512 图像的单个编辑，从而实现实时反馈和候选编辑的快速探索。通过用户研究验证了方法和编辑系统的可行性和有效性，对比了现有技术如 InstructPix2Pix 和 Stable Diffusion Inpainting 在图像优化方面的表现。该方法在对象属性调整、错误修正和顺序提示式对象放置和操作等各种任务上表现出有效性，展示了它提升创作工作流程的多功能性和潜力。

    May, 2024

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 掩蔽变换器应用于扩散模型快速训练

    本论文提出了一种使用掩码 Transformer 训练大型扩散模型的高效方法，实现了在不牺牲生成性能的情况下，仅使用 31％的训练时间达到与最先进的扩散变压器模型相同性能的效果。

    Jun, 2023

  • 扩散刷：基于潜在扩散模型的 AI 生成图像编辑工具

    本文提出了一种基于潜在扩散模型的工具 Diffusion Brush，用于对人工智能合成的图像进行高效的局部微调，在保留图像原始内容的同时，引入新的随机噪声模式以定位特定区域，通过与其他图像修复技术和编辑软件的比较，验证了我们这种方法的可用性和有效性。

    May, 2023

  • DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

    本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

    Jun, 2023

  • 以草图为引导的局部离散扩散图像修复

    本研究工作中，我们研究了基于草图引导的图像修复任务。与在捕捉语义细节方面表现出色的经过深入研究的自然语言引导图像修复不同，相对较少研究的草图引导修复提供了更强的用户控制力，可指定待修复对象的形状和姿势。作为这个任务的早期解决方案之一，我们引入了一种新颖的部分离散扩散过程（PDDP）。PDDP 的正向传递在图像的掩蔽区域损坏，而反向传递使用我们提出的草图引导双向转换器以依赖于手绘草图来重建这些掩蔽区域。所提出的新颖转换器模块接受两个输入 —— 包含待修复区域的图像和用于建模逆扩散过程的查询草图。这一策略有效地解决了草图与自然图像之间的领域差异，从而提高了修复结果的质量。在缺乏针对此任务的大规模数据集的情况下，我们从 MS-COCO 合成了一个数据集，用于对我们提出的框架进行训练和广泛评估，与文献中的各种竞争方法进行对比。定性和定量结果以及用户研究表明，所提出的方法可以修复与提供的草图的视觉外观相符的逼真对象。为了促进进一步的研究，我们已将我们的代码公开提供在此 https URL 。

    Apr, 2024

  • Text2Layer: 使用潜在扩散模型的分层图像生成

    以分层图片生成的视角，从生成图像转变为同时生成背景、前景、图层掩码和合成图像。提出的方法可实现更好的合成工作流和高质量图像输出，同时得到比图像分割产生的图层掩码更高质量的效果。实验结果表明该方法能够生成高质量的分层图片，为未来的工作提供了基准。

    Jul, 2023

  • 基于扩散的语义图像编辑与掩模引导

    本文提出了一种基于条件扩散模型的语义图像编辑方法 DiffEdit，能够自动生成需要编辑的图像区域的遮罩，并利用潜在推理保留感兴趣区域的内容，该方法在 ImageNet 数据集上实现了最先进的编辑表现。

    Oct, 2022

  • 基于扩散的高效图像编辑与即时关注蒙版

    我们在这篇论文中提出了一种名为 InstDiffEdit 的新型高效图像编辑方法，它利用现有扩散模型的跨模态注意力能力，在扩散步骤中实现了即时的遮罩引导。我们将 InstDiffEdit 与 SOTA 方法进行了广泛的实验证明，结果显示它在图像质量和编辑结果方面不仅优于 SOTA 方法，而且推理速度快 5 至 6 倍。

    Jan, 2024

  • 潜意识画家

    潜在扩散器是生成 AI 的革命，并激发创造性艺术。本研究介绍了使用潜在空间作为画布，以及扩散器预测作为计划，以生成绘画动画的潜在画家。潜在画家还可以在两组不同检查点的图像之间进行过渡。

    Aug, 2023