AAAIDec, 2023

实际场景下的迭代式令牌评估与改善

PDF
TL;DR我们提出了一个迭代令牌评估和改进 (ITER) 框架，用于实现实际场景图像超分辨率 (RWSR)，该框架利用离散扩散模型在离散令牌表示空间中运行，即利用提前用高质量图像进行预训练的 VQGAN 编码书中的特征索引。我们将 RWSR 分为两个子任务：去除失真和生成纹理。去除失真涉及对低质量图像进行简单的高质量令牌预测，而生成纹理则使用离散扩散模型通过令牌改进网络对去除失真结果进行迭代改进。我们还提出在离散扩散过程中包含一个令牌评估网络，它学习评估哪些令牌是良好的恢复，并帮助改进迭代改进的结果。此外，评估网络可以首先检查去除失真的状态，然后自适应选择所需的总改进步骤，从而在去除失真和生成纹理之间保持良好的平衡。广泛的实验结果表明，ITER 易于训练，在只进行 8 个迭代步骤的情况下表现良好。我们的代码将公开提供。
real-world image super-resolutioniterative token evaluation and refinementdistortion removaltexture generationdiscrete diffusion model
发现论文，激发创造
  • 排除性双学习实现实际图像超分辨率

    本文讨论了损坏图像中的图像类型和感知 - 和欧几里得 - 基础评估协议的属性，并提出了一种通过排他性双重学习来解决感性和 L1 - 基础合作学习中的特征多样性的方法，该方法通过噪声引导数据收集策略来解决多个数据集优化中的训练时间消耗，并在使用辅助数据集时实现了具有竞争性的性能。

    Jun, 2022

  • 基于迭代优化的图像超分辨率提升

    本研究提出了 SR3 方法，通过重复精细的降噪扩散概率模型，采用随机去噪过程并通过 U-Net 模型进行迭代 refinement，实现图像超分辨率，在面部和自然图像的不同放大因素的超分辨率任务中表现强劲，与 SOTA GAN 方法进行人工评估，SR3 实现了近 50％的 fool 率，表明输出具有照片逼真度，同时 GANs 不超过 34％的 fool 率。我们进一步展示 SR3 在级联图像生成中的有效性，其中生成模型与超分辨率模型链接，使 ImageNet 的竞争 FID 得分为 11.3。

    Apr, 2021

  • SeeSR: 面向语义感知的现实世界图像超分辨率

    通过训练一个 degradation-aware 提取器，我们提出了一种针对生成式真实世界图像超分辨率的语义感知方法，以更好地保留语义保真度，同时将低分辨率图像整合到初始采样噪声中以减少过多的随机细节生成，实验结果表明我们的方法可以重现更现实的图像细节并更好地保持语义。

    Nov, 2023

  • WaveMixSR: 图像超分辨率的高效资源神经网络

    提出了一种新的神经网络，基于 WaveMix 架构，用于图像超分辨率，不同于基于 transformer 的模型，WaveMixSR 使用离散小波变换进行空间令牌混合，可以在更少的资源和训练数据的情况下实现更高的性能，同时保持较高的参数效率。

    Jul, 2023

  • 深度生成对抗残差卷积网络用于真实世界超分辨率

    通过提出一种深度残差卷积生成对抗网络（SRResCGAN）来解决真实世界中图像修复过程缺失的问题，该网络通过对 HR 领域的像素级监督来对模型进行敌对训练，并利用残差学习和凸优化技术来最小化能量函数，我们的实验表明，该方法易于部署到其他下采样算子和移动 / 嵌入式设备上，并且能够更好地适应真实世界中的图像噪声问题。

    May, 2020

  • 用于感知图像超分辨率的 Bi-GANs-ST

    本文介绍了一种通过深度学习框架 Bi-GANs-ST 结合两种生成对抗网络，分别注重客观性能和主观感知的权重感知 SRGAN 和记忆残留 SRGAN，再使用软阈值法合并两个模型的结果从而实现在感知指标和均方根误差之间平衡的超分辨率图像生成方法。实验结果表明，该方法在 PIRM 2018 挑战赛的感知超分辨率任务上表现良好，且在五个基准测试数据集上都具有高度竞争性的性能。

    Nov, 2018

  • 场景文本图像超分辨率的识别引导扩散模型

    在场景文本图像超分辨率的研究中，通过引入一种生成模型 RGDiffSR 和一种去噪网络 RGDN，本文通过语义引导实现了场景文本图像的高保真度图像增强，从而在文本识别准确度和图像保真度方面都取得了优于现有方法的结果。

    Nov, 2023

  • CasSR: 激活图像力量的真实世界图像超分辨率

    通过级联扩散控制模型和多重注意机制，本研究提出了一种图像超分辨率方法，其目标是从降质版本中生成高质量、清晰的图像。研究结果表明该方法在提高图像还原的准确性和真实性方面非常有效和优越。

    Mar, 2024

  • 基于散度度量加强的全卷积生成对抗网络在图像超分辨率中的应用

    通过引入 SuRGe，一种基于全卷积生成对抗网络（GAN）的超分辨率生成器，我们展示了通过一组可学习的凸权重优化 GAN 生成器的逐渐增加深度的不同卷积特征，从而提高生成的超分辨率样本的质量。同时，通过使用 Jensen-Shannon 和 Gromov-Wasserstein 损失计算 SR-HR 和 LR-SR 分布之间的距离，进一步帮助 SuRGe 生成器更好地利用可用信息以改进超分辨率。此外，我们使用带有梯度惩罚的 Wasserstein 损失训练 SuRGe 的判别器，主要用于防止模态崩溃。与 18 个最先进的竞争模型在 10 个基准数据集上相比，所提出的 SuRGe 以其卓越性能得到证实。

    Apr, 2024

  • Diffusion-Wavelet 方法进行图像超分辨率的高清晰处理

    本文提出了一种新颖的扩散小波（DiWa）方法，用于单图超分辨率（SISR），能够将去噪扩散概率模型（DDPMs）的优点与离散小波变换（DWT）相结合，实现在小波频谱上为超分辨图像产生高频信息，从而在图像空间中生成高质量、详细的重建。在定量指标上，我们在面部（8 倍放大）和一般（4 倍放大）SR 基准测试中均优于当前最先进的扩散 SISR 方法，即 SR3 和 SRDiff，包括 PSNR、SSIM 和 LPIPS 等方面。同时，使用 DWT 使得我们可以使用比比较的模型更少的参数：92M 参数而不是 550M 参数，与 SR3 相比，9.3M 参数而不是 12M 参数，与 SRDiff 相比。此外，我们的方法在经典的一般 SR 数据集上优于其他最先进的生成方法，同时节省推理时间。最后，我们的工作强调了它在各种应用中的潜力。

    Apr, 2023