Aug, 2023

DiffGANPaint：使用去噪扩散 GAN 进行快速修复

PDF
TL;DR本文提出了一种基于 DDPM 的模型，能够通过使用生成对抗网络（GAN）的生成器来建模反向扩散过程，从而以较低的采样成本填充丢失的像素，实验结果表明我们的方法在通用图像修复数据集上表现出卓越性能。
free-form image inpaintingbinary maskdiffusion modelsddpm-based modelgenerative adversarial network
发现论文，激发创造
  • RePaint: 使用去噪扩散概率模型进行修复

    本文提出了 RePaint，一种基于 DDPM 的修复方法，针对自由形式的抠图效果更佳，能够进行信息补充，并对面部和通用图像修复进行了测试。

    Jan, 2022

  • Gradpaint: 基于梯度引导的扩散模型修复

    GradPaint 是一种用于图像修复的方法，通过计算模型的损失与输入图像的相干性，并使用扩散模型本身的梯度来引导生成过程，从而改善了目前基于监督和非监督方法的最新技术。

    Sep, 2023

  • 人脑细胞分布图像修复的去噪扩散概率模型

    使用最新的成像和高性能计算技术实现了在细胞水平对整个人脑进行成像，为研究人脑的多尺度结构（包括大脑区域和核团的划分、皮层层次、纵列和细胞群体）提供了基础。本研究提出了一种基于噪声扩散概率模型（DDPM）的模型，通过训练细胞染色切片的光镜扫描图像，能够可靠地填充缺失信息并生成高度逼真的图像信息，用于细胞统计和形态模式的分析，得到了验证。

    Nov, 2023

  • 使用去噪扩散概率模型理论上证明图像修复的合理性

    本文提出了一种基于扩散的图像修复算法，并针对多数图像修复算法需要反复训练的问题，证明了基于扩散的图像修复算法可以很好地处理未知蒙版，从而避免反复训练。通过分析目前流行的扩散图像修复算法 RePaint 及其存在的偏差问题，本文提出了一种新的修复算法 RePaint+，具有良好的收敛率，并校正了 RePaint 中存在的偏差问题，提升了采样恢复效果，是一种具有线性收敛结果的扩散图像修复算法。

    Feb, 2023

  • Inst-Inpaint: 使用扩散模型指导对象移除

    本论文提出了一种基于自然语言输入的图像修复算法，名为 Inst-Inpaint，可同时估计要移除的对象，并对其进行修复。为了支持该任务，我们首先构建了一个名为 GQA-Inpaint 的数据集。我们在合成和真实图像数据集上运行了各种 GAN 和扩散基线，使用不同的评估指标比较方法，并展示了显著的定量和定性改进。

    Apr, 2023

  • 利用去噪扩散隐式模型实现连贯图像修复

    本文介绍一种基于贝叶斯法的 COPAINT 算法，其使用扩散模型来修复图像并通过逐步减小误差的方式来减少与参考图像的偏差，从而优于现有的扩散模型方法。

    Apr, 2023

  • PD-GAN: 图像修复的概率分布式生成对抗网络

    PD-GAN 是一种基于 GAN 的图像修复方法，其利用 SPDNorm 和感知多样性损失来平衡图像修复的真实性和多样性，实验证明其可以生成更多样性和真实性更高的修复图像。

    May, 2021

  • 填写 ____ （基于扩散的图像修复流程）

    图像修复是将图像中的缺失或故意遮挡部分恢复出来的过程，在现代修复技术中，我们提供了当前主要方法的概述和评估，并着重解决了现有模型在生成过程中缺乏提示和控制能力的问题，并提供了多种实现该功能的方法。最终，通过对生成的高质量图像进行定性检查，我们评估了我们的方法的结果是否能正确地修复指定区域。

    Mar, 2024

  • 基于生成对抗网络的基于补丁的图像修复

    本文提出了一种基于生成对抗网络（GAN）框架的图像修复方法，该方法利用全局 GAN（G-GAN）架构和 PatchGAN 方法结合进行鉴别器网络的构建，可较好地实现图像贴图的局部连续性和全局特征。经大量评估发现，与最新的现有技术相比，该框架在视觉和数量评估方面均取得了显著的改进。

    Mar, 2018

  • 以草图为引导的局部离散扩散图像修复

    本研究工作中，我们研究了基于草图引导的图像修复任务。与在捕捉语义细节方面表现出色的经过深入研究的自然语言引导图像修复不同，相对较少研究的草图引导修复提供了更强的用户控制力，可指定待修复对象的形状和姿势。作为这个任务的早期解决方案之一，我们引入了一种新颖的部分离散扩散过程（PDDP）。PDDP 的正向传递在图像的掩蔽区域损坏，而反向传递使用我们提出的草图引导双向转换器以依赖于手绘草图来重建这些掩蔽区域。所提出的新颖转换器模块接受两个输入 —— 包含待修复区域的图像和用于建模逆扩散过程的查询草图。这一策略有效地解决了草图与自然图像之间的领域差异，从而提高了修复结果的质量。在缺乏针对此任务的大规模数据集的情况下，我们从 MS-COCO 合成了一个数据集，用于对我们提出的框架进行训练和广泛评估，与文献中的各种竞争方法进行对比。定性和定量结果以及用户研究表明，所提出的方法可以修复与提供的草图的视觉外观相符的逼真对象。为了促进进一步的研究，我们已将我们的代码公开提供在此 https URL 。

    Apr, 2024