将退化预测与高性能超分辨率网络相结合的框架

Nov, 2022

将退化预测与高性能超分辨率网络相结合的框架

The Best of Both Worlds: a Framework for Combining Degradation Prediction with High Performance Super-Resolution Networks

PDF

Matthew Aquilina, Keith George Ciantar, Christian Galea, Kenneth P. Camilleri, Reuben A. Farrugia...

TL;DR本文提出了将盲超分辨率预测机制与深度超分辨率网络相结合的框架，通过在 SR 网络特征映射中插入预测向量的元数据插入块，我们展示了最先进的对比预测方案和迭代预测方案在 RCAN 和 HAN 等高性能 SR 网络中成功地结合使用的结果，实现了比非盲和盲超分辨率网络更强大的超分辨率性能。

Abstract

To date, the best-performing blind super-resolution (SR) techniques follow one of two paradigms: A) generate and train a standard SR network on synthetic low-resolution - high-resolution (LR - HR) pairs or B) attempt to predict the degradations an LR image has suffered and use these to

blind super-resolution degradation information metadata insertion block contrastive and iterative prediction schemes hybrid models

发现论文，激发创造

单图像超分辨率的无监督退化学习

本文提出了一种双向的结构一致性网络，以无监督的方式训练降噪和超分辨率网络，通过生成对抗网络模拟现实世界的 LR 图像降级过程，结合现实世界的 HR 图像，然后利用这些生成的 LR 图像训练 SR 重建网络实现超分辨率。实验表明，该算法在合成和真实场景的超分辨率任务中性能表现都优秀。

Dec, 2018

盲图像超分辨率：调查与发展

这篇论文系统地回顾了最近盲目图像超分辨率的研究进展，提出了一个分类法以区分现有的方法，并对常用数据集和以前的比赛进行了总结。同时，通过对合成和真实测试图像的详细分析，对不同方法的优缺点进行了比较。

Jul, 2021

S2R: 探索一种双赢的基于 Transformer 的理想和盲超分辨率框架

现在，基于深度学习的方法在理想的超分辨率（SR）数据集上展现出了令人印象深刻的性能，但在应用于具有不可预测模糊核的现实 SR 重建任务时，大多数这些方法会显著降低性能。为了解决这个问题，提出了盲 SR 方法来改善随机模糊核造成的视觉结果，这同样导致理想低分辨率图像的重建效果不理想。本文提出了一个用于理想和盲 SR 任务的双赢框架，命名为 S2R，包括一个轻量级的基于 transformer 的 SR 模型（S2R transformer）和一种新颖的自上而下的训练策略，可以在理想和随机模糊条件下实现出色的视觉结果。在算法层面上，S2R transformer 巧妙地组合了一些高效且轻量级的块，以增强提取特征的表示能力，并且具有相对较少的参数。对于训练策略，首先进行粗粒度的学习过程，通过大规模外部数据集的帮助来改进网络的泛化能力，然后，开发了一种快速微调过程，通过挖掘图像的内部特征将预训练模型转移到现实 SR 任务中。实验结果表明，提出的 S2R 在理想的 SR 条件下仅使用 578K 参数就优于其他单图像 SR 模型。同时，在盲模糊条件下，它可以实现比常规盲 SR 模型更好的视觉效果，仅使用 10 次渐变更新就提高了收敛速度 300 倍，显著加速了在现实世界情况下的迁移学习过程。

Aug, 2023

基于对比表示学习的盲目图像超分辨率

设计了一种名为 CRL-SR 的网络进行盲超分辨率重建，可以有效应对多模式、空间变量和未知分布的图像降质，其应用了对比度表示学习和对比度特征强化两种策略，并在实验中验证了其在超分辨率重建上的优越性。

Jul, 2021

基于知识蒸馏的盲超分辨率降级估计

本文提出了一种基于知识蒸馏的隐式降级估计网络，结合了此网络与高效的 SR 网络，实现了在未知退化情况下的盲图像超分辨率，同时设计了一种基于动态卷积残差块的新型降级表示方法 IDR，经过广泛的实验验证表明，KDSR 网络具有最先进的性能，并可以推广到各种退化过程。

Nov, 2022

实际环境中盲超分辨率的端到端交替优化

采用交替优化算法，通过设计卷积神经网络模块 Restorer 和 Estimator，实现了盲超分辨率重建，克服了降解估计准确性不高的问题，从而获得更鲁棒和准确的最终结果。

Aug, 2023

盲超分辨率与裂纹分割联合学习的真实降质图像恢复

本文提出了一种使用深度神经网络进行超分辨率增强的裂缝分割方法，联合训练了一个二值分割网络和一个 SR 网络，通过二者相互协同优化，提高了分割效果。在低分辨率图像中应用两个额外的路径进一步鼓励 SR 和分割的相互作用。实验结果表明，本文的方法在分割效果上具有优越性。

Feb, 2023

盲目图像超分辨率的联邦学习

将图像超分辨率与联邦学习相结合，从用户中直接学习真实世界中的退化，既不侵犯用户隐私，又可以在多个设备上进行优化。为了评估新的超分辨率方法，我们提出了新的基准测试，针对联邦设置中的不同分布退化类型和用户数量进行研究。

Apr, 2024

盲目图像超分辨率的深度约束最小二乘法

本文提出一种盲图像超分辨率的新方法，使用重新构建的退化模型和两个新模块，通过对内核估计和内核基于高分辨率图像恢复的改进，实现更好的准确性和视觉改进，并在多个基准测试中进行了验证。

Feb, 2022

扩展合成真实世界退化，用于盲视频超分辨率

该论文提出了一种随机洗牌方法来模拟真实的降级因素并在合成的数据集上训练深度神经网络，使其在真实世界的视频超分辨率方面表现更好。结果显示，相较于 RealBasicVSR 在 NRQM 方面提高了 7.1％，相较于 BSRGAN 提高了 3.34％。同时，该论文也提出了一个新的包含高分辨率真实视频的数据集，可作为基准测试的共同参照。

May, 2023