UltraSR:空间编码是隐式图像函数任意比例超分辨率的缺失关键
该研究论文提出了一种空间 - 光谱隐式函数 (SSIF),它能够以空间和光谱领域的连续像素坐标和连续波长的方式表示图像,通过实证验证了 SSIF 在两个具有挑战性的空间 - 光谱超分辨率基准上的有效性。研究还表明,即使允许基线模型在每个光谱分辨率上进行单独训练,SSIF 仍然始终优于现有技术的基线模型,并且 SSIF 能够很好地适应不同的未见空间和光谱分辨率,并生成提高下游任务性能(如土地利用分类)1.7%-7%的高分辨率图像。
Sep, 2023
本文通过将频率信息聚合在像素区域中来扩展传统的位置编码,提出了集成位置编码(IPE),并将其应用于最先进的任意尺度图像超分辨率方法之一:局部隐式图像函数(LIIF),提出了 IPE-LIIF。我们通过定量和定性评估展示了 IPE-LIIF 的有效性,进一步证明了 IPE 对更大的图像尺度和多个隐式方法的泛化能力。
Dec, 2021
提出了一个新的方法来实现输入图像的超分辨率或从随机噪声生成任意比例的新图像,该方法通过预训练的自动编码器、隐式扩散模型和隐式神经解码器及其学习策略组成。该方法在潜空间中采用扩散过程,与 MLP 在任意比例上的解码器空间相一致,并通过固定解码器反向传播输出图像的错误,提高了输出图像的质量。在广泛的实验中,该方法在图像质量、多样性和尺度一致性等指标方面均优于相关方法,在推理速度和内存使用方面显著优于相关的最新技术。
Mar, 2024
基于隐式图像函数增益的任意尺度超分辨率基于实际图像的普及度增加,因为它可以更好地连续表示视觉世界。然而,现有的任意尺度作品是在模拟数据集上进行训练和评估的,其中低分辨率图像是通过最简单的双三次降采样从其实际值生成的。由于实际世界退化的复杂性更大,这些模型对实际世界场景的泛化能力有限。为了解决这个问题,我们建立了一个新的实际世界超分辨率基准数据集 RealArbiSR,它具有整数和非整数的缩放因子,以训练和评估实际世界的任意尺度超分辨率。此外,我们提出了一种双层可变形隐式表示(DDIR)来解决实际世界尺度任意超分辨率问题。具体来说,我们设计了外观嵌入和变形场来处理由于实际世界退化引起的图像级和像素级变形。外观嵌入对低分辨率输入的特征进行建模,以处理不同尺度上的光度变化,而基于像素的变形场学习了由真实世界和模拟退化在任意坐标处的差异导致的 RGB 差异。大量实验表明,我们训练的模型在 RealArbiSR 和 RealSR 基准上实现了最先进的性能,用于实际世界的任意尺度超分辨率。我们的数据集以及源代码将会公开提供。
Mar, 2024
单张图像超分辨率(SISR)使用深度卷积网络取得了显著的进展,但传统网络只能将图像放大到固定比例,因此利用隐式神经函数生成任意比例的图像;本文介绍了一种新颖高效的框架 —— 混合专家隐式超分辨率(MoEISR),它在显著提高计算效率的同时,能够以任意比例进行超分辨率重建,而不损失重建质量;MoEISR 利用轻量级映射器模块动态分配最适合的解码专家给每个像素,使具有不同容量的专家能够重建复杂度各异的区域像素;实验证明,MoEISR 能够在缩减高达 73% 的浮点运算(FLOPs)的同时,提供相当或更优的峰值信噪比(PSNR)。
Nov, 2023
本研究提出了 Video Implicit Neural Representation (VideoINR) 的框架,支持任意空间分辨率和帧率的 STVSR,相比之前的方法在超出训练分布范围的数据上表现出更好的性能,这对提高视频质量有着很大的实际意义。
Jun, 2022
本文提出了一种基于隐式神经表示的双任意多对比度 MRI 超分辨率方法 (Dual-ArbNet),该方法可以无限制地使用任意缩放的目标和参考图像进行图像重建,并通过课程学习策略提高了该方法在两个 MRI 数据集上的性能。
Jul, 2023
针对模型量化与 SR 网络训练中的两个困难,本文提出了一种全量化图像超分辨率框架(FQSR)来同时优化效率和精度,并在多个主流 SR 构架上应用,实验表明与全精度 SR 方法相比,FQSR 具有相同的性能和较低的计算成本。
Nov, 2020
本文提出一种新的方法,利用事件的高时空分辨率特性通过空时插值将事件引导具有随机比例因子的视频超分辨率任务。利用空时融合模块、时间滤波模块和空时隐式表示模块将 RGB 帧与事件的特征图结合来完成超分辨率恢复,实验结果表明,该方法显著超过以往技术。
Mar, 2023