学习用于立体影像超分辨率的准确且丰富特征
我们提出了一种高效的轻量级立体图像超分辨率多级特征融合网络(MFFSSR),通过利用混合注意力特征提取块(HAFEB)提取多级视角内部特征,并使用通道分离策略与嵌入的视角交互模块有效地进行交互,该结构配置能够在改善跨视角信息共享效率的同时有效挖掘视图内的特征,从而更准确地重构图像细节和纹理。通过丰富的实验证明了 MFFSSR 的有效性,我们在更少的参数下实现了卓越的性能。源代码可在此 URL 找到。
May, 2024
本文通过在单个视图中提取特征的强大而简单的图像恢复模型 NAFNet 的扩展,添加交叉注意模块以在两个视图之间融合特征,以适应立体视觉场景,提出了立体图像超分辨率的新方法 ——NAFSSR,并提出了训练 / 测试策略,展示了这种方法的有效性。NAFSSR 在 KITTI 2012、KITTI 2015、Middlebury 和 Flickr1024 数据集上的表现优于现有方法,并在 NTIRE 2022 立体图像超分辨率挑战中获得了第 1 名。
Apr, 2022
本论文提出了一种基于深度学习的多帧超分辨率方法 HighRes-net,首次使用端到端的方式学习了低分辨率图像的配准、融合和上采样等任务,并通过准确的配准和 ShiftNet 算法实现了真实卫星图像的超分辨率处理,促进了地球观测数据的应用。
Feb, 2020
通过使用 Fast Fourier Convolution 和 Residual Swin Transformer 改进的方法和新的 cross-attention 模块,我们提出了一种名为 SwinFSR 的 Stereo Image Super-Resolution 方法,并且实验结果表明了该方法的有效性和高效性。
Apr, 2023
该研究通过开发 StereoSRQA 模型,提出了第一种感知定向的立体图像超分辨率方法,并采用 StereoSRQA 数据库为 StereoSR 模型提供准确的指导,从而提高了立体图像的感知质量和位移估计的可靠性。
Jul, 2022
本文提出了一种轻量级多尺度特征交互网络(MSFIN)用于图像超分辨率,通过扩展感受野和利用来自各种尺度的低分辨率观察图像的信息特征以及交互连接。此外,设计了一种轻量级的循环残差通道注意块(RRCAB)以便使网络受益于通道注意机制同时保持足够轻量级。与现有技术相比,本文所提出的 MSFIN 能够以更轻量的模型实现可比性能。
Mar, 2021
本文提出 MAFFSRN 方法,通过特征融合和多重注意机制提出了一种轻量级的图像超分辨率网络,实验表明该方法在内存占用、浮点运算次数和模型参数数量等方面表现优秀。
Aug, 2020
立体图像超分辨率(SR)是指从双摄像头设备通常捕获的一对低分辨率(LR)图像重建出高分辨率(HR)图像。我们提出了一种名为 NAFRSSR 的简单而高效的立体图像 SR 模型,通过引入递归连接和轻量化构成模块来改进先前最先进的模型 NAFSSR。我们的 NAFRSSR 模型由非线性激活免费和基于组卷积的块(NAFGCBlocks)以及深度分离立体交叉注意力模块(DSSCAMs)组成。NAFRGCBlock 通过从 NAFBlock 中删除简单通道注意机制并使用组卷积来改进特征提取和减少参数数量。DSSCAM 通过将 SCAM 中的 1x1 逐点卷积替换为共享权重的 3x3 深度卷积来增强特征融合和减少参数数量。此外,我们还提出将可训练的边缘检测算子纳入到 NAFRSSR 中以进一步提高模型性能。我们设计了四个不同尺寸的 NAFRSSR 变体,即 NAFRSSR-Mobile、NAFRSSR-Tiny、NAFRSSR-Super 和 NAFRSSR-Base,它们都比先前最先进的模型具有更少的参数、更高的 PSNR/SSIM 和更快的速度。特别地,据我们所知,NAFRSSR-M 是最轻量级(0.28M 参数)和最快(50 毫秒推理时间)的模型,在基准数据集上获得了高达 24.657 dB/0.7622 的平均 PSNR/SSIM。代码和模型将发布在此 https URL
May, 2024
本文提出了基于深度神经网络框架加入视差限制机制的 DCSSRnet 算法,用于提高立体图像对的空间分辨率,实验结果表明该算法在定量和定性评估上优于目前的 SR 方法。
Mar, 2020
该研究提出一种轻量级特征融合网络 (LFFN),利用主轴块和 softmax 特征融合模块 (SFFM) 来实现全面探索多尺度上下文信息、极大地降低网络参数而最大化单幅图像超分辨率 (SISR) 结果。
Feb, 2019