May, 2024

NAFRSSR：一种高效的立体图像超分辨率轻量级递归网络

PDF
TL;DR立体图像超分辨率（SR）是指从双摄像头设备通常捕获的一对低分辨率（LR）图像重建出高分辨率（HR）图像。我们提出了一种名为 NAFRSSR 的简单而高效的立体图像 SR 模型，通过引入递归连接和轻量化构成模块来改进先前最先进的模型 NAFSSR。我们的 NAFRSSR 模型由非线性激活免费和基于组卷积的块（NAFGCBlocks）以及深度分离立体交叉注意力模块（DSSCAMs）组成。NAFRGCBlock 通过从 NAFBlock 中删除简单通道注意机制并使用组卷积来改进特征提取和减少参数数量。DSSCAM 通过将 SCAM 中的 1x1 逐点卷积替换为共享权重的 3x3 深度卷积来增强特征融合和减少参数数量。此外，我们还提出将可训练的边缘检测算子纳入到 NAFRSSR 中以进一步提高模型性能。我们设计了四个不同尺寸的 NAFRSSR 变体，即 NAFRSSR-Mobile、NAFRSSR-Tiny、NAFRSSR-Super 和 NAFRSSR-Base，它们都比先前最先进的模型具有更少的参数、更高的 PSNR/SSIM 和更快的速度。特别地，据我们所知，NAFRSSR-M 是最轻量级（0.28M 参数）和最快（50 毫秒推理时间）的模型，在基准数据集上获得了高达 24.657 dB/0.7622 的平均 PSNR/SSIM。代码和模型将发布在此 https URL
stereo image super-resolutionnafrssr modelfeature extractiondepth-separated stereo cross attention modulestrainable edge detection operator
发现论文，激发创造
  • 使用 NAFNet 的立体图像超分辨率

    本文通过在单个视图中提取特征的强大而简单的图像恢复模型 NAFNet 的扩展，添加交叉注意模块以在两个视图之间融合特征，以适应立体视觉场景，提出了立体图像超分辨率的新方法 ——NAFSSR，并提出了训练 / 测试策略，展示了这种方法的有效性。NAFSSR 在 KITTI 2012、KITTI 2015、Middlebury 和 Flickr1024 数据集上的表现优于现有方法，并在 NTIRE 2022 立体图像超分辨率挑战中获得了第 1 名。

    Apr, 2022

  • 轻量级立体图像超分辨率的多层特征融合网络

    我们提出了一种高效的轻量级立体图像超分辨率多级特征融合网络（MFFSSR），通过利用混合注意力特征提取块（HAFEB）提取多级视角内部特征，并使用通道分离策略与嵌入的视角交互模块有效地进行交互，该结构配置能够在改善跨视角信息共享效率的同时有效挖掘视图内的特征，从而更准确地重构图像细节和纹理。通过丰富的实验证明了 MFFSSR 的有效性，我们在更少的参数下实现了卓越的性能。源代码可在此 URL 找到。

    May, 2024

  • 基于多注意力的超轻量级图像超分辨率

    本文提出 MAFFSRN 方法，通过特征融合和多重注意机制提出了一种轻量级的图像超分辨率网络，实验表明该方法在内存占用、浮点运算次数和模型参数数量等方面表现优秀。

    Aug, 2020

  • 学习用于立体影像超分辨率的准确且丰富特征

    本研究提出了一种混合尺度选择性融合网络（MSSFNet），用于提高立体图像超分辨率（stereoSR）结果的质量，包括保留精确的空间细节和丰富的上下文信息，并自适应地选择和融合来自两个视角的最准确的特征，以增强高质量的 stereoSR 效果。

    Jun, 2024

  • SwinFSR: 使用 SwinIR 和频域知识的立体图像超分辨率

    通过使用 Fast Fourier Convolution 和 Residual Swin Transformer 改进的方法和新的 cross-attention 模块，我们提出了一种名为 SwinFSR 的 Stereo Image Super-Resolution 方法，并且实验结果表明了该方法的有效性和高效性。

    Apr, 2023

  • 自适应加权学习网络轻量级图像超分辨率

    本研究提出了一种自适应加权超分辨率网络（AWSRN），其中包括局部融合块（LFB）和自适应加权多尺度（AWMS）模块，以提高超分辨率任务中的效率和性能。实验结果表明，AWSRN 取得了比当前最先进的方法更好的性能，并且具有轻便的特点。

    Apr, 2019

  • ASSR-NeRF: 在体素网格上实现任意尺度超分辨率以高质量重建辐射场

    提出了一种名为 Arbitrary-Scale Super-Resolution NeRF (ASSR-NeRF) 的新型框架，通过使用 VoxelGridSR 模型在优化的体积上直接进行 3D 超分辨率 (SR) 操作，从而实现超分辨率新视角合成 (SRNVS)。通过在多样化场景上进行训练，可以确保模型的泛化能力，在训练过程中，对于使用低分辨率视角的未见场景，可以直接应用 VoxelGridSR 来进一步优化体积，并实现多视角一致的超分辨率 (SR)。实验证明，所提出的方法在 SRNVS 上取得了显着的性能提升。

    Jun, 2024

  • 轻量级多尺度特征交互网络图像超分辨率

    本文提出了一种轻量级多尺度特征交互网络（MSFIN）用于图像超分辨率，通过扩展感受野和利用来自各种尺度的低分辨率观察图像的信息特征以及交互连接。此外，设计了一种轻量级的循环残差通道注意块（RRCAB）以便使网络受益于通道注意机制同时保持足够轻量级。与现有技术相比，本文所提出的 MSFIN 能够以更轻量的模型实现可比性能。

    Mar, 2021

  • HighRes-net：多帧卫星图像超分辨率递归融合

    本论文提出了一种基于深度学习的多帧超分辨率方法 HighRes-net，首次使用端到端的方式学习了低分辨率图像的配准、融合和上采样等任务，并通过准确的配准和 ShiftNet 算法实现了真实卫星图像的超分辨率处理，促进了地球观测数据的应用。

    Feb, 2020

  • 基于频率聚合的真实图像超分辨率网络

    提出了一种名为 FAN 的频率聚合网络方法，它能够针对复杂的现实降解恢复真实世界低分辨率图像的高分辨率版本，通过提取不同频率的低分辨率图像，并分别传递到一种称为 CA-GRDB 的通道注意力聚合残差密集网络中，最后自适应地聚合这些残余特征图来恢复具有增强细节和纹理的高分辨率图像，实验证明该方法在 AIM2020 挑战赛的真实图像超分辨率任务上表现出色，最终权衡指标 PSNR 达到 31.1735，SSIM 达到 0.8728，我们的团队 SR-IM 获得该赛道的第四名。

    Sep, 2020