CVPRMay, 2024

轻量级立体图像超分辨率的多层特征融合网络

PDF
TL;DR我们提出了一种高效的轻量级立体图像超分辨率多级特征融合网络（MFFSSR），通过利用混合注意力特征提取块（HAFEB）提取多级视角内部特征，并使用通道分离策略与嵌入的视角交互模块有效地进行交互，该结构配置能够在改善跨视角信息共享效率的同时有效挖掘视图内的特征，从而更准确地重构图像细节和纹理。通过丰富的实验证明了 MFFSSR 的有效性，我们在更少的参数下实现了卓越的性能。源代码可在此 URL 找到。
stereo image super-resolutionmulti-level feature fusion networklightweightattention feature extractioncross-view interaction
发现论文，激发创造
  • 学习用于立体影像超分辨率的准确且丰富特征

    本研究提出了一种混合尺度选择性融合网络（MSSFNet），用于提高立体图像超分辨率（stereoSR）结果的质量，包括保留精确的空间细节和丰富的上下文信息，并自适应地选择和融合来自两个视角的最准确的特征，以增强高质量的 stereoSR 效果。

    Jun, 2024

  • 使用 NAFNet 的立体图像超分辨率

    本文通过在单个视图中提取特征的强大而简单的图像恢复模型 NAFNet 的扩展，添加交叉注意模块以在两个视图之间融合特征，以适应立体视觉场景，提出了立体图像超分辨率的新方法 ——NAFSSR，并提出了训练 / 测试策略，展示了这种方法的有效性。NAFSSR 在 KITTI 2012、KITTI 2015、Middlebury 和 Flickr1024 数据集上的表现优于现有方法，并在 NTIRE 2022 立体图像超分辨率挑战中获得了第 1 名。

    Apr, 2022

  • 基于多注意力的超轻量级图像超分辨率

    本文提出 MAFFSRN 方法，通过特征融合和多重注意机制提出了一种轻量级的图像超分辨率网络，实验表明该方法在内存占用、浮点运算次数和模型参数数量等方面表现优秀。

    Aug, 2020

  • NAFRSSR：一种高效的立体图像超分辨率轻量级递归网络

    立体图像超分辨率（SR）是指从双摄像头设备通常捕获的一对低分辨率（LR）图像重建出高分辨率（HR）图像。我们提出了一种名为 NAFRSSR 的简单而高效的立体图像 SR 模型，通过引入递归连接和轻量化构成模块来改进先前最先进的模型 NAFSSR。我们的 NAFRSSR 模型由非线性激活免费和基于组卷积的块（NAFGCBlocks）以及深度分离立体交叉注意力模块（DSSCAMs）组成。NAFRGCBlock 通过从 NAFBlock 中删除简单通道注意机制并使用组卷积来改进特征提取和减少参数数量。DSSCAM 通过将 SCAM 中的 1x1 逐点卷积替换为共享权重的 3x3 深度卷积来增强特征融合和减少参数数量。此外，我们还提出将可训练的边缘检测算子纳入到 NAFRSSR 中以进一步提高模型性能。我们设计了四个不同尺寸的 NAFRSSR 变体，即 NAFRSSR-Mobile、NAFRSSR-Tiny、NAFRSSR-Super 和 NAFRSSR-Base，它们都比先前最先进的模型具有更少的参数、更高的 PSNR/SSIM 和更快的速度。特别地，据我们所知，NAFRSSR-M 是最轻量级（0.28M 参数）和最快（50 毫秒推理时间）的模型，在基准数据集上获得了高达 24.657 dB/0.7622 的平均 PSNR/SSIM。代码和模型将发布在此 https URL

    May, 2024

  • 用于立体图像超分辨率的跨视图层次网络

    本研究提出了一种名为 Cross-View-Hierarchy Network 的新方法，其中包括了利用通道关注和大核卷积关注从 intra-view 中提取全局和局部特征的交叉层次信息挖掘块（CHIMB），以及通过利用跨视图注意机制融合不同视图的相似特征的交叉视图交互模块（CVIM），并证明了 该方法比其他最先进的方法具有更好的立体图像超分辨率性能，且使用的参数更少。

    Apr, 2023

  • 单图像超分辨率轻量级特征融合网络

    该研究提出一种轻量级特征融合网络 (LFFN)，利用主轴块和 softmax 特征融合模块 (SFFM) 来实现全面探索多尺度上下文信息、极大地降低网络参数而最大化单幅图像超分辨率 (SISR) 结果。

    Feb, 2019

  • 轻量级多尺度特征交互网络图像超分辨率

    本文提出了一种轻量级多尺度特征交互网络（MSFIN）用于图像超分辨率，通过扩展感受野和利用来自各种尺度的低分辨率观察图像的信息特征以及交互连接。此外，设计了一种轻量级的循环残差通道注意块（RRCAB）以便使网络受益于通道注意机制同时保持足够轻量级。与现有技术相比，本文所提出的 MSFIN 能够以更轻量的模型实现可比性能。

    Mar, 2021

  • HighRes-net：多帧卫星图像超分辨率递归融合

    本论文提出了一种基于深度学习的多帧超分辨率方法 HighRes-net，首次使用端到端的方式学习了低分辨率图像的配准、融合和上采样等任务，并通过准确的配准和 ShiftNet 算法实现了真实卫星图像的超分辨率处理，促进了地球观测数据的应用。

    Feb, 2020

  • 交互增强的立体图像超分辨率与视差估计的反馈网络

    该研究提出了一种基于双递归子网络的立体图像超分辨率和视差估计反馈网络 (SSRDE-FNet)，在低分辨率空间利用跨视图信息，通过高分辨率特征聚合产生更精细的 SR 结果，并提出了 HR Disparity Information Feedback（HRDIF）机制，可将 HR disparity 的信息反馈到前期以进一步细化 SR 图像重构，从而提高了系统的性能。

    Jun, 2021

  • SwinFSR: 使用 SwinIR 和频域知识的立体图像超分辨率

    通过使用 Fast Fourier Convolution 和 Residual Swin Transformer 改进的方法和新的 cross-attention 模块，我们提出了一种名为 SwinFSR 的 Stereo Image Super-Resolution 方法，并且实验结果表明了该方法的有效性和高效性。

    Apr, 2023