Nov, 2021

调色板：图像到图像扩散模型

PDF
TL;DR本文提出了一种基于条件扩散模型的统一框架，用于图像到图像的转换，并在四个具有挑战性的图像到图像任务中测试了这个框架，即上色，修复，裁剪和 JPEG 恢复。我们的简单实现超越了所有任务上的强 GAN 和回归基线，无需任务特定的超参数调整，架构定制或需要任何辅助丢失或先进的新技术。我们揭示了扩散目标中 L2 与 L1 损失的影响，并通过实证研究证明了自我关注在神经结构中的重要性。重要的是，我们提倡一个基于 ImageNet 的统一评估协议，具有人工评估和样本质量得分（FID，Inception Score，预训练 ResNet-50 的分类准确度和与原始图像的感知距离），我们期望这个标准化的评估协议在推进图像到图像翻译研究方面起到作用。最后，我们展示了一个通用的，多任务扩散模型的执行效果与任务特定的专家模型相当或更好。
发现论文，激发创造
  • 基于扩散模型的图像编辑：一项综述

    调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

    Feb, 2024

  • 基于扩散的图像修复与内部学习

    本文提出了一种用于图像修复的轻量级扩散模型，可以在单幅图像或几幅图像上进行训练，结果表明我们的方法在某些情况下可以与大型先进模型竞争，特别适用于与标准学习数据库中的 RGB 图像不同的图像获取模态，并在纹理图像、线条图像和材料 BRDF 等三个不同情境中取得了逼真度方面的最新成果，与相应方法相比计算负荷大大减少。

    Jun, 2024

  • DiffHarmony：潜在扩散模型与图像融合

    本研究旨在解决图像融合的问题，通过调整图像的前景与背景以达到统一的视觉一致性。研究采用预训练的潜在扩散模型生成和初步处理模糊的初始图像，通过两种策略（在推理过程中利用高分辨率图像和引入额外的优化阶段）进一步提高初步处理后图像的清晰度，并通过在 iHarmony4 数据集上进行大量实验证明了我们方法的优越性。

    Apr, 2024

  • 去噪扩散概率模型

    本文使用受非平衡热力学考虑的潜变量模型 —— 扩散概率模型，提出了高质量的图像合成结果。通过根据扩散概率模型和 Langevin 动力学的去噪得分匹配之间的新颖联系设计加权变分界限进行训练，获得了最佳结果；此外，我们的模型自然地采用渐进式有损解压缩方案，可以解释为自回归解码的一般化。在无条件的 CIFAR10 数据集上，我们获得了 9.46 的 Inception 得分和 3.17 的最先进的 FID 得分。在 256x256 LSUN 上，我们获得了与 ProgressiveGAN 相似的样本质量。

    Jun, 2020

  • 图像恢复与增强的扩散模型 —— 综合调查

    图像修复是一个具有挑战性的任务，在近期，扩散模型在图像的生成上取得了显著的进展，但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究，本文首次对基于扩散模型的图像修复方法进行全面的综述与评估，并提出了未来研究的五个潜在和具有挑战性的方向。

    Aug, 2023

  • 一步图像翻译与文本到图像模型

    通过对抗学习目标，将单步扩散模型通过整合各种模块成为单一的端到端生成网络，以提高其保留输入图像结构并减少过拟合的能力，我们的模型在非配对设置下优于现有的基于 GAN 和扩散的方法，实现了各种场景转换任务，如昼夜转换和添加 / 删除雾、雪和雨等天气效果；在配对设置中，我们的模型与现有的作品如 Sketch2Photo 和 Edge2Image 的 Control-Net 不相上下，但具有单步推理。

    Mar, 2024

  • 扩散模型在图像分类上胜过 GAN

    本文探讨了使用一种单一的预训练阶段进行生成性和判别性任务的统一表征学习器 —— 扩散模型，并发现这种模型在图像分类任务中具有优异的性能，特别是在经过精心特征选择和池化的情况下，扩散模型明显优于 BigBiGAN 等其他可比较的生成 - 判别方法

    Jul, 2023

  • 基于去噪扩散模型的光学图像转换：以异构变化检测为例

    介绍一种创新的基于深度学习的方法，使用去噪扩散模型将不同光学传感器的低分辨率图像转换为高分辨率图像，保留内容并避免不需要的伪影，通过大规模多样的 Sentinel-II 和 Planet Dove 图像配对数据集进行训练和测试，解决了在多传感器光学遥感图像的图像到图像转换任务中普遍使用的无分类器引导去噪扩散隐式模型（DDIM）框架所观察到的严重图像生成问题，生成具有高度一致的补丁的大型图像，包括颜色和特征，进一步展示了该方法如何改善贝鲁特，黎巴嫩和美国奥斯汀两个城市地区的异构变化检测结果，我们的贡献包括：i）基于去噪扩散模型的光学图像转换的新的训练和测试算法；ii）全面的图像质量评估和消融研究；iii）与无分类器引导 DDIM 框架的比较；和 iv）对异构数据的变化检测实验。

    Apr, 2024

  • 基于扩散模型的标签效率语义分割

    本文研究了扰动扩散概率模型在语义分割任务中的应用，特别是在标注数据有限的情况下。通过探究预训练扩散模型的中间层，我们发现它们可以有效地捕捉输入图像的语义信息，并成为像素级别的分割表示。基于这些观察，我们提出了一种简单的分割方法，能在仅有少量训练图像的情况下显著提高性能。

    Dec, 2021

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022