CVPRMar, 2024

使用潜在扩散模型和隐式神经解码器进行任意尺度图像生成和上采样

PDF
TL;DR提出了一个新的方法来实现输入图像的超分辨率或从随机噪声生成任意比例的新图像，该方法通过预训练的自动编码器、隐式扩散模型和隐式神经解码器及其学习策略组成。该方法在潜空间中采用扩散过程，与 MLP 在任意比例上的解码器空间相一致，并通过固定解码器反向传播输出图像的错误，提高了输出图像的质量。在广泛的实验中，该方法在图像质量、多样性和尺度一致性等指标方面均优于相关方法，在推理速度和内存使用方面显著优于相关的最新技术。
super-resolutionimage generationimplicit neural representationlatent diffusion modelscale consistency
发现论文，激发创造
  • 隐式扩散模型用于连续超分辨率

    本文提出了一种隐式扩散模型 (IDM)，采用神经表示和去噪扩散模型，实现了高保真持续图像超分辨率，其缩放因子在最终输出中调节低分辨率信息和生成的特征的占比，它使模型适应连续分辨率需求，实验验证了 IDM 的有效性和优越表现。

    Mar, 2023

  • InverseSR：使用潜在扩散模型进行脑部 MRI 超分辨率

    利用潜在扩散模型 (latent diffusion model) 配合深度学习方法，提高临床 MRI 扫描的分辨率，为 MRI 重建提供有力的先验信息。

    Aug, 2023

  • 通过隐式扩散实现图像超分辨率：一种基于采样空间混合模型的专家和频率增强解码器方法

    通过使用扩展的预训练文本图像模型进行扩散先验处理，本研究提出了基于频率补偿模块和样本空间多专家混合（SS-MoE）的潜在空间方法，以提高图像超分辨率的性能。

    Oct, 2023

  • 学习双层可变形隐式表示在实际尺度任意超分辨率中的应用

    基于隐式图像函数增益的任意尺度超分辨率基于实际图像的普及度增加，因为它可以更好地连续表示视觉世界。然而，现有的任意尺度作品是在模拟数据集上进行训练和评估的，其中低分辨率图像是通过最简单的双三次降采样从其实际值生成的。由于实际世界退化的复杂性更大，这些模型对实际世界场景的泛化能力有限。为了解决这个问题，我们建立了一个新的实际世界超分辨率基准数据集 RealArbiSR，它具有整数和非整数的缩放因子，以训练和评估实际世界的任意尺度超分辨率。此外，我们提出了一种双层可变形隐式表示（DDIR）来解决实际世界尺度任意超分辨率问题。具体来说，我们设计了外观嵌入和变形场来处理由于实际世界退化引起的图像级和像素级变形。外观嵌入对低分辨率输入的特征进行建模，以处理不同尺度上的光度变化，而基于像素的变形场学习了由真实世界和模拟退化在任意坐标处的差异导致的 RGB 差异。大量实验表明，我们训练的模型在 RealArbiSR 和 RealSR 基准上实现了最先进的性能，用于实际世界的任意尺度超分辨率。我们的数据集以及源代码将会公开提供。

    Mar, 2024

  • 潜在空间中的领域转移（DTLS）能在图像超分辨率中取得胜利 - 一种非降噪模型

    本文提出了一种简单的方法来进行高效图像超分辨率，该方法采用了扩散模型的基本结构，通过建立领域之间的转移关系，学习统计特性的差异以促进逐步插值，并通过参考输入的 LR 图像对转移领域进行条件控制，实验结果表明，该方法不仅优于最先进的大规模超分辨率模型，也优于当前的扩散模型，此方法可以方便地扩展到其他图像到图像的任务，如图像增强、修复、去噪等。

    Nov, 2023

  • 利用扩散先验进行实际图像超分辨率

    本文介绍了一种新的方法，利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率，并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制，实现对任何大小分辨率的适应，并在综合评估中展示了该方法在超分辨率领域的优越性。

    May, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 使用潜空间扩散模型使大尺寸逼真图像修复成为可能的 Refusion 技术

    本研究旨在提高扩散模型在逼真图像修复中的适用性，特别是在网络架构、噪声水平、降噪步骤、训练图像大小和优化器 / 调度器等多个方面进行改进。我们展示了调节这些超参数可以在失真和感知得分上实现更好的性能，并提出了基于 U-Net 的潜在扩散模型。与以前的潜在扩散模型相比，我们提出的 U-Net 压缩策略更稳定，而且不依赖敌对性优化就能恢复高度准确的图像。我们的模型 Refusion 能够处理大尺寸图像，包括真实世界的阴影去除、HR 不均匀去雾、立体超分辨率和景深效果转换，并在 NTIRE 2023 图像阴影去除挑战赛中获得最佳感知性能和第二名。

    Apr, 2023

  • SRDiff：扩散概率模型单图超分辨率

    本文提出一种基于扩散概率模型的单幅图像超分辨率方法，通过优化数据可能性的变分下界进行模型训练，并通过引入残差预测以加速收敛。该方法在 CelebA 和 DIV2K 数据集上进行了实验验证，实验结果表明，该方法在性能上领先以往的方法，并具有生成丰富细节的不同超分辨率结果、小型化、灵活的图像操作等优点。

    Apr, 2021

  • 基于模型无关方法的隐式神经表示任意尺度图像超分辨率

    单张图像超分辨率（SISR）使用深度卷积网络取得了显著的进展，但传统网络只能将图像放大到固定比例，因此利用隐式神经函数生成任意比例的图像；本文介绍了一种新颖高效的框架 —— 混合专家隐式超分辨率（MoEISR），它在显著提高计算效率的同时，能够以任意比例进行超分辨率重建，而不损失重建质量；MoEISR 利用轻量级映射器模块动态分配最适合的解码专家给每个像素，使具有不同容量的专家能够重建复杂度各异的区域像素；实验证明，MoEISR 能够在缩减高达 73% 的浮点运算（FLOPs）的同时，提供相当或更优的峰值信噪比（PSNR）。

    Nov, 2023