使用 NAFNet 的立体图像超分辨率
立体图像超分辨率(SR)是指从双摄像头设备通常捕获的一对低分辨率(LR)图像重建出高分辨率(HR)图像。我们提出了一种名为 NAFRSSR 的简单而高效的立体图像 SR 模型,通过引入递归连接和轻量化构成模块来改进先前最先进的模型 NAFSSR。我们的 NAFRSSR 模型由非线性激活免费和基于组卷积的块(NAFGCBlocks)以及深度分离立体交叉注意力模块(DSSCAMs)组成。NAFRGCBlock 通过从 NAFBlock 中删除简单通道注意机制并使用组卷积来改进特征提取和减少参数数量。DSSCAM 通过将 SCAM 中的 1x1 逐点卷积替换为共享权重的 3x3 深度卷积来增强特征融合和减少参数数量。此外,我们还提出将可训练的边缘检测算子纳入到 NAFRSSR 中以进一步提高模型性能。我们设计了四个不同尺寸的 NAFRSSR 变体,即 NAFRSSR-Mobile、NAFRSSR-Tiny、NAFRSSR-Super 和 NAFRSSR-Base,它们都比先前最先进的模型具有更少的参数、更高的 PSNR/SSIM 和更快的速度。特别地,据我们所知,NAFRSSR-M 是最轻量级(0.28M 参数)和最快(50 毫秒推理时间)的模型,在基准数据集上获得了高达 24.657 dB/0.7622 的平均 PSNR/SSIM。代码和模型将发布在此 https URL
May, 2024
我们提出了一种高效的轻量级立体图像超分辨率多级特征融合网络(MFFSSR),通过利用混合注意力特征提取块(HAFEB)提取多级视角内部特征,并使用通道分离策略与嵌入的视角交互模块有效地进行交互,该结构配置能够在改善跨视角信息共享效率的同时有效挖掘视图内的特征,从而更准确地重构图像细节和纹理。通过丰富的实验证明了 MFFSSR 的有效性,我们在更少的参数下实现了卓越的性能。源代码可在此 URL 找到。
May, 2024
本研究提出了一种混合尺度选择性融合网络(MSSFNet),用于提高立体图像超分辨率(stereoSR)结果的质量,包括保留精确的空间细节和丰富的上下文信息,并自适应地选择和融合来自两个视角的最准确的特征,以增强高质量的 stereoSR 效果。
Jun, 2024
通过使用 Fast Fourier Convolution 和 Residual Swin Transformer 改进的方法和新的 cross-attention 模块,我们提出了一种名为 SwinFSR 的 Stereo Image Super-Resolution 方法,并且实验结果表明了该方法的有效性和高效性。
Apr, 2023
本文提出 MAFFSRN 方法,通过特征融合和多重注意机制提出了一种轻量级的图像超分辨率网络,实验表明该方法在内存占用、浮点运算次数和模型参数数量等方面表现优秀。
Aug, 2020
本文提出了基于深度神经网络框架加入视差限制机制的 DCSSRnet 算法,用于提高立体图像对的空间分辨率,实验结果表明该算法在定量和定性评估上优于目前的 SR 方法。
Mar, 2020
本论文提出了一种基于深度学习的多帧超分辨率方法 HighRes-net,首次使用端到端的方式学习了低分辨率图像的配准、融合和上采样等任务,并通过准确的配准和 ShiftNet 算法实现了真实卫星图像的超分辨率处理,促进了地球观测数据的应用。
Feb, 2020
本研究提出了一种名为 Cross-View-Hierarchy Network 的新方法,其中包括了利用通道关注和大核卷积关注从 intra-view 中提取全局和局部特征的交叉层次信息挖掘块(CHIMB),以及通过利用跨视图注意机制融合不同视图的相似特征的交叉视图交互模块(CVIM),并证明了 该方法比其他最先进的方法具有更好的立体图像超分辨率性能,且使用的参数更少。
Apr, 2023
本文介绍了一个新的大规模真实场景爆破超分辨率数据集 RealBSR 以及一种名为 FBAnet 的联邦爆破亲和网络,用于从多个帧中恢复图像细节,并通过基于 Transformer 的模块进行爆破表示解码。实验结果表明,FBAnet 优于现有的最先进的爆破超分辨率方法,并且在模型细节上实现了视觉上令人愉悦的超分辨率图像预测。
Sep, 2023