CVPRApr, 2023

使用潜空间扩散模型使大尺寸逼真图像修复成为可能的 Refusion 技术

PDF
TL;DR本研究旨在提高扩散模型在逼真图像修复中的适用性，特别是在网络架构、噪声水平、降噪步骤、训练图像大小和优化器 / 调度器等多个方面进行改进。我们展示了调节这些超参数可以在失真和感知得分上实现更好的性能，并提出了基于 U-Net 的潜在扩散模型。与以前的潜在扩散模型相比，我们提出的 U-Net 压缩策略更稳定，而且不依赖敌对性优化就能恢复高度准确的图像。我们的模型 Refusion 能够处理大尺寸图像，包括真实世界的阴影去除、HR 不均匀去雾、立体超分辨率和景深效果转换，并在 NTIRE 2023 图像阴影去除挑战赛中获得最佳感知性能和第二名。
diffusion modelsimage restorationu-netlatent spacerefusion
发现论文，激发创造
  • 潜在空间中的领域转移（DTLS）能在图像超分辨率中取得胜利 - 一种非降噪模型

    本文提出了一种简单的方法来进行高效图像超分辨率，该方法采用了扩散模型的基本结构，通过建立领域之间的转移关系，学习统计特性的差异以促进逐步插值，并通过参考输入的 LR 图像对转移领域进行条件控制，实验结果表明，该方法不仅优于最先进的大规模超分辨率模型，也优于当前的扩散模型，此方法可以方便地扩展到其他图像到图像的任务，如图像增强、修复、去噪等。

    Nov, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • CLR-Face：基于得分驱动扩散模型的盲目人脸修复的条件潜在精细化

    我们提出了一种基于扩散先验的 VQGAN 结构，在学习完整的潜在嵌入分布的同时，迭代地从受损对应物恢复干净嵌入，结合身份恢复网络的输出对逆向扩散过程进行约束，以在潜在空间中实现知觉和保真度的分离，取得最佳性能。

    Feb, 2024

  • 利用扩散模型作为约束：增强图像恢复网络通过扩散模型训练

    通过引入自然性导向和语义感知优化机制 DiffLoss，本文旨在改善图像恢复领域中的颜色和纹理失真问题，并提高图像的语义感知恢复能力，以实现图像恢复任务和高级识别任务的连接。

    Jun, 2024

  • 大数据训练的扩散模型具有可迁移的视觉模型

    通过使用预训练的 UNet（或 transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

    Mar, 2024

  • 通过多分辨率扩散模型减轻图像生成中的失真

    该研究提出了一种创新的增强扩散模型的方法，通过整合新颖的多分辨率网络和时间相关的层归一化，以提高高保真图像生成的有效性。

    Jun, 2024

  • ScaleCrafter：使用扩散模型进行零调节高分辨率视觉生成

    通过重新扩张限制性卷积感知域以及引入分散卷积和抑噪无监督引导的方法，无需任何训练或优化，实现了超高分辨率图像生成，并解决了物体重复和不合理结构的问题，表现出卓越的性能。此外，该方法还提示了低分辨率训练模型可以直接用于高分辨率图像生成的可能性，为未来的超高分辨率图像合成研究提供了新的思路。

    Oct, 2023

  • 使用潜在扩散模型和隐式神经解码器进行任意尺度图像生成和上采样

    提出了一个新的方法来实现输入图像的超分辨率或从随机噪声生成任意比例的新图像，该方法通过预训练的自动编码器、隐式扩散模型和隐式神经解码器及其学习策略组成。该方法在潜空间中采用扩散过程，与 MLP 在任意比例上的解码器空间相一致，并通过固定解码器反向传播输出图像的错误，提高了输出图像的质量。在广泛的实验中，该方法在图像质量、多样性和尺度一致性等指标方面均优于相关方法，在推理速度和内存使用方面显著优于相关的最新技术。

    Mar, 2024

  • 基于基础扩散模型的有损图像压缩

    利用扩散模型在图像压缩领域具有潜力，能够在极低码率下产生逼真且详细的重建结果。本研究提出了一种将扩散用于去除量化误差，以恢复传输图像潜在信息的去噪方法，相较于之前的方法，我们的方案只需要进行不到 10% 的扩散生成过程，并且无需对扩散模型进行架构更改，能够有效利用基础模型作为强大的先验，并在定量写实度指标上优于之前的方法，同时经验证明我们的重建结果在质量上也得到了最终用户的认可，并且即使其他方法使用两倍的比特率，我们的方案依然具备优势。

    Apr, 2024

  • DiffHarmony：潜在扩散模型与图像融合

    本研究旨在解决图像融合的问题，通过调整图像的前景与背景以达到统一的视觉一致性。研究采用预训练的潜在扩散模型生成和初步处理模糊的初始图像，通过两种策略（在推理过程中利用高分辨率图像和引入额外的优化阶段）进一步提高初步处理后图像的清晰度，并通过在 iHarmony4 数据集上进行大量实验证明了我们方法的优越性。

    Apr, 2024