Nov, 2023

通过可操作的扩散模型实现图像修复

PDF
TL;DR本文提出了一种新的框架，利用可计算条件概率的 Tractable Probabilistic Models（TPMs）来指导扩散模型的去噪过程，从而改进了受限图像生成的质量和语义连贯性。同时，该方法能接受图像特定区域的语义约束，并推动更可控的图像生成任务的发展。
diffusion modelsconstrained image generationtractable probabilistic modelsprobabilistic circuitssemantic constraints
发现论文，激发创造
  • Gradpaint: 基于梯度引导的扩散模型修复

    GradPaint 是一种用于图像修复的方法，通过计算模型的损失与输入图像的相干性，并使用扩散模型本身的梯度来引导生成过程，从而改善了目前基于监督和非监督方法的最新技术。

    Sep, 2023

  • 人脑细胞分布图像修复的去噪扩散概率模型

    使用最新的成像和高性能计算技术实现了在细胞水平对整个人脑进行成像，为研究人脑的多尺度结构（包括大脑区域和核团的划分、皮层层次、纵列和细胞群体）提供了基础。本研究提出了一种基于噪声扩散概率模型（DDPM）的模型，通过训练细胞染色切片的光镜扫描图像，能够可靠地填充缺失信息并生成高度逼真的图像信息，用于细胞统计和形态模式的分析，得到了验证。

    Nov, 2023

  • 利用去噪扩散隐式模型实现连贯图像修复

    本文介绍一种基于贝叶斯法的 COPAINT 算法，其使用扩散模型来修复图像并通过逐步减小误差的方式来减少与参考图像的偏差，从而优于现有的扩散模型方法。

    Apr, 2023

  • 基于扩散模型的标签效率语义分割

    本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

    Dec, 2021

  • 基于扩散模型的图像编辑：一项综述

    调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

    Feb, 2024

  • 基于扩散的图像修复与内部学习

    本文提出了一种用于图像修复的轻量级扩散模型，可以在单幅图像或几幅图像上进行训练，结果表明我们的方法在某些情况下可以与大型先进模型竞争，特别适用于与标准学习数据库中的 RGB 图像不同的图像获取模态，并在纹理图像、线条图像和材料 BRDF 等三个不同情境中取得了逼真度方面的最新成果，与相应方法相比计算负荷大大减少。

    Jun, 2024

  • 基于扩散模型的原则性概率成像使用即插即用的先验

    采用扩散模型和马尔可夫链 - 蒙特卡洛算法解决反问题，通过降低到高斯去噪问题的后验采样，有效地实现了更准确的重建和后验估计。

    May, 2024

  • 从深度生成模型到可处理概率电路的精馏过程理解

    通过对深度生成模型知识的蒸馏，提出了新的 P-VAE 方法，该方法可以有效地提高准确性，并允许更广泛的应用，我们的结果表明，在几个基准图像数据集上，该方法比基准模型表现更好，特别是在 ImageNet32 数据集上，它取得了 4.06 位每维的结果，仅比变分扩散模型慢 0.34 位。

    Feb, 2023

  • 以草图为引导的局部离散扩散图像修复

    本研究工作中，我们研究了基于草图引导的图像修复任务。与在捕捉语义细节方面表现出色的经过深入研究的自然语言引导图像修复不同，相对较少研究的草图引导修复提供了更强的用户控制力，可指定待修复对象的形状和姿势。作为这个任务的早期解决方案之一，我们引入了一种新颖的部分离散扩散过程（PDDP）。PDDP 的正向传递在图像的掩蔽区域损坏，而反向传递使用我们提出的草图引导双向转换器以依赖于手绘草图来重建这些掩蔽区域。所提出的新颖转换器模块接受两个输入 —— 包含待修复区域的图像和用于建模逆扩散过程的查询草图。这一策略有效地解决了草图与自然图像之间的领域差异，从而提高了修复结果的质量。在缺乏针对此任务的大规模数据集的情况下，我们从 MS-COCO 合成了一个数据集，用于对我们提出的框架进行训练和广泛评估，与文献中的各种竞争方法进行对比。定性和定量结果以及用户研究表明，所提出的方法可以修复与提供的草图的视觉外观相符的逼真对象。为了促进进一步的研究，我们已将我们的代码公开提供在此 https URL 。

    Apr, 2024

  • RePaint: 使用去噪扩散概率模型进行修复

    本文提出了 RePaint，一种基于 DDPM 的修复方法，针对自由形式的抠图效果更佳，能够进行信息补充，并对面部和通用图像修复进行了测试。

    Jan, 2022