针对准确性和泛化性之间的权衡关系制定训练退化分布的技巧
通过图像预处理,设计了一种在处理现实世界视频超分辨率中平衡细节合成和伪影抑制的RealBasicVSR模型,并且提出了一种随机退化方案来降低训练时间,同时使用更长序列代替更大批次进行训练以提高模型的稳定性。此外,还创建了新的VideoLQ数据集来作为基准测试的公共基础。
Nov, 2021
本研究提出一种概率降级生成器,用于训练无监督真实场景超分辨率模型,并通过使用多个生成器和协作学习来提高模型性能和稳健性,相关方法在基准数据集上表现出优异的性能。
Jan, 2022
系统性评估实际超分辨率方法的框架SEAL,利用代表性降级案例集群和新的评估指标衡量其性能,展示对现有方法的基准测试、新观察和新基线开发。
Sep, 2023
我们提出了一种名为SRTTA的高效测试时自适应超分辨率框架,该框架能够快速将超分辨率模型适应于具有不同/未知退化类型的测试域。该框架通过预测经过预训练的退化分类器确定测试图像的退化类型,并设计了二阶退化方案构建基于测试图像退化类型的配对数据,然后通过从初始测试图像到其二阶退化版本的特征级重建学习来调整超分辨率模型,从而帮助模型生成合理的高分辨率图像。通过对几个实际数据集进行广泛实验,包括包含8种不同退化的合成DIV2K数据集,我们的SRTTA框架在速度和性能上都取得了显著的改进。源代码可在此https URL中获得。
Oct, 2023
利用深度学习在单图像超分辨率(SISR)方面取得了显著进展,尽管大部分现有工作假设简单且固定的降级模型,但盲目超分辨率的研究旨在改进对未知降级能力的建模,本文提出了一种更合适的训练策略利用Dropout来提高盲目超分辨率的模型泛化能力,同时降低Dropout引入的不良副作用,我们通过理论和实验分析展示了这种方法的效果,并通过调整一阶和二阶特征统计量提出了另一种简单但有效的训练策略,该方法在包括合成和真实世界场景在内的七个基准数据集上表现更好,可作为一种与模型无关的正则化方法。
Feb, 2024
通过重现降级的低分辨率图像,我们提出了一种用于学习降级表示的替代方法,并且引入一个有界约束的能量距离损失函数来促进降级表示的学习。实验结果表明,我们的降级表示能够提取准确和高度鲁棒的降级信息。此外,对合成和真实图像的评估表明,我们的ReDSR在盲目超分辨率任务中达到了最先进的性能。
Jul, 2024
对于目标化真实世界退化,我们通过新颖的成对距离蒸馏框架,研究无监督实现真实世界超分辨率 (RWSR)。通过我们的框架,通过跨专用模型和辅助泛化模型的内部和模型间距离蒸馏,我们的方法显著提升忠实度和感知质量,在RWSR中超过现有的最先进方法。
Jul, 2024
传统的单任务图像恢复方法在处理特定的劣化类型方面表现出色,但在处理多种劣化方面却困难重重。为了解决这个限制,我们提出了一种新颖的方法——具有图像劣化相似性的分组恢复(GRIDS),该方法协调了多种劣化恢复中的竞争目标。我们首先引入了一种定量方法来评估图像劣化之间的关系,使用深度劣化表示的统计建模。这种分析有助于对相似任务进行战略性分组,提高恢复过程的效率和效果。基于劣化相似性,GRIDS将恢复任务分为最佳分组之一,同一组任务之间高度相关。例如,GRIDS将11种劣化类型有效地分为4个连贯的组。每个组内的训练模型都显示出显著的改进,在单任务上限模型上平均改进了0.09dB,在混合训练基线模型上平均改进了2.24dB。GRIDS通过自适应模型选择机制进行推断,根据输入的劣化情况自动选择适当的分组训练模型。这种机制在实际场景中对于未知劣化情况非常有用,因为它不依赖于显式的劣化分类模块。此外,我们的方法可以预测模型的泛化能力,而无需进行网络推断,为从业人员提供宝贵的洞察力。
Jul, 2024
本研究探讨了图像超分辨率(SR)中训练数据的影响,填补了这一领域的研究空白。我们提出了一种自动图像评估流程,分析了现有高分辨率数据集的多样性和质量,发现低压缩伪影、高内图像多样性和大量图像的组合能够显著提高SR性能。这一简便而有效的数据集筛选流程将为未来SR数据集的构建提供指导,进而提升模型效果。
Sep, 2024
本研究解决了现有扩散基础图像超分辨率方法在效率和降解模型应用上的不足。提出的单步超分辨率模型通过设计降解引导的低秩适应模块,显著提高了效率并利用低分辨率图像的降解信息,从而改善了结果的感知质量。实验结果表明,该模型在效率和效能上优于最新的先进方法。
Sep, 2024