Jun, 2024

基于扩散的图像修复与内部学习

PDF
TL;DR本文提出了一种用于图像修复的轻量级扩散模型，可以在单幅图像或几幅图像上进行训练，结果表明我们的方法在某些情况下可以与大型先进模型竞争，特别适用于与标准学习数据库中的 RGB 图像不同的图像获取模态，并在纹理图像、线条图像和材料 BRDF 等三个不同情境中取得了逼真度方面的最新成果，与相应方法相比计算负荷大大减少。
diffusion modelsimage inpaintinglightweightsingle image trainingstate-of-the-art results
发现论文，激发创造
  • 视频修复的内部扩散技术

    视频修复方法基于扩散模型的内部学习算法，通过简化学习步骤并针对动态背景和纹理，在视频修复任务中达到了最先进的性能。

    Nov, 2023

  • 调色板：图像到图像扩散模型

    本文提出了一种基于条件扩散模型的统一框架，用于图像到图像的转换，并在四个具有挑战性的图像到图像任务中测试了这个框架，即上色，修复，裁剪和 JPEG 恢复。我们的简单实现超越了所有任务上的强 GAN 和回归基线，无需任务特定的超参数调整，架构定制或需要任何辅助丢失或先进的新技术。我们揭示了扩散目标中 L2 与 L1 损失的影响，并通过实证研究证明了自我关注在神经结构中的重要性。重要的是，我们提倡一个基于 ImageNet 的统一评估协议，具有人工评估和样本质量得分（FID，Inception Score，预训练 ResNet-50 的分类准确度和与原始图像的感知距离），我们期望这个标准化的评估协议在推进图像到图像翻译研究方面起到作用。最后，我们展示了一个通用的，多任务扩散模型的执行效果与任务特定的专家模型相当或更好。

    Nov, 2021

  • 基于扩散模型的图像编辑：一项综述

    调查论文对使用扩散模型进行图像编辑的现有方法进行了全面的概述，包括理论和实践方面，并从多个角度对这些作品进行了彻底分析和分类，介绍了学习策略、用户输入条件以及可以实现的特定编辑任务的组合。此外，对图像修复和扩展进行了特别关注，并探讨了早期的传统上下文驱动方法和当前的多模态条件方法，全面分析了它们的方法论。最后，讨论当前的限制并展望未来的研究方向。

    Feb, 2024

  • 使用去噪扩散概率模型理论上证明图像修复的合理性

    本文提出了一种基于扩散的图像修复算法，并针对多数图像修复算法需要反复训练的问题，证明了基于扩散的图像修复算法可以很好地处理未知蒙版，从而避免反复训练。通过分析目前流行的扩散图像修复算法 RePaint 及其存在的偏差问题，本文提出了一种新的修复算法 RePaint+，具有良好的收敛率，并校正了 RePaint 中存在的偏差问题，提升了采样恢复效果，是一种具有线性收敛结果的扩散图像修复算法。

    Feb, 2023

  • Gradpaint: 基于梯度引导的扩散模型修复

    GradPaint 是一种用于图像修复的方法，通过计算模型的损失与输入图像的相干性，并使用扩散模型本身的梯度来引导生成过程，从而改善了目前基于监督和非监督方法的最新技术。

    Sep, 2023

  • RenderDiffusion：用于 3D 重建、修补与生成的图像扩散

    本文提出了 RenderDiffusion，这是第一个用于 3D 生成和推断的扩散模型，使用仅有的单眼 2D 监督进行训练，并采用新颖的图像去噪架构进行中间的三维表示，以提供强烈归纳结构，同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion，展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外，我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。

    Nov, 2022

  • 图像恢复与增强的扩散模型 —— 综合调查

    图像修复是一个具有挑战性的任务，在近期，扩散模型在图像的生成上取得了显著的进展，但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究，本文首次对基于扩散模型的图像修复方法进行全面的综述与评估，并提出了未来研究的五个潜在和具有挑战性的方向。

    Aug, 2023

  • 扩散去选择：在虚拟全尝试中丰富基于图像条件的潜在扩散模型的修复

    基于扩散的图像修复模型实现在线购物时的虚拟可视化，包括细节处理和语义操作。

    Jan, 2024

  • 利用结构边缘引导探索文本到图像扩散模型在多光谱卫星图像修复中的能力

    研究了文本到图像修复模型在卫星图像数据中的实用性，通过引入基于 StableDiffusion 和 ControlNet 的新型修复框架以及一种新的 RGB 到 MSI 转换方法，解决了将结构引导信号注入到生成过程中的两个技术挑战，以及将修复的 RGB 像素转换为更广泛的 MSI 波段。对更广泛的数据集的结果表明，通过 StableDiffusion 生成的修复结果存在不受欢迎的伪影，而自监督内部修复的简单替代方法具有更高的合成质量。

    Nov, 2023

  • 扩散刷：基于潜在扩散模型的 AI 生成图像编辑工具

    本文提出了一种基于潜在扩散模型的工具 Diffusion Brush，用于对人工智能合成的图像进行高效的局部微调，在保留图像原始内容的同时，引入新的随机噪声模式以定位特定区域，通过与其他图像修复技术和编辑软件的比较，验证了我们这种方法的可用性和有效性。

    May, 2023