CVPRApr, 2023

SwinFSR: 使用 SwinIR 和频域知识的立体图像超分辨率

PDF
TL;DR通过使用 Fast Fourier Convolution 和 Residual Swin Transformer 改进的方法和新的 cross-attention 模块，我们提出了一种名为 SwinFSR 的 Stereo Image Super-Resolution 方法，并且实验结果表明了该方法的有效性和高效性。
发现论文，激发创造
  • SwinFIR：通过快速傅里叶卷积和改进的训练重新审视 SwinIR 并用于图像超分辨率

    本文介绍了一种基于 Transformer 的方法，用于图像恢复，提出了一种名为 SwinFIR 的扩展方法，旨在提高捕捉全局信息的效率，同时改进了数据增强、预训练、特征集成等高级技术，使模型的性能得到显着提高，并在多个大型基准测试上取得了最先进的性能。

    Aug, 2022

  • SwinFuSR：一种受图像融合启发的 RGB 引导的热成像超分辨率模型

    基于 Swin transformers 的引导型 SR 架构 SwinFuSR，通过从高分辨率可见光图像提取信息，实现了对低分辨率红外图像的增强重建。

    Apr, 2024

  • 学习用于立体影像超分辨率的准确且丰富特征

    本研究提出了一种混合尺度选择性融合网络（MSSFNet），用于提高立体图像超分辨率（stereoSR）结果的质量，包括保留精确的空间细节和丰富的上下文信息，并自适应地选择和融合来自两个视角的最准确的特征，以增强高质量的 stereoSR 效果。

    Jun, 2024

  • 使用 NAFNet 的立体图像超分辨率

    本文通过在单个视图中提取特征的强大而简单的图像恢复模型 NAFNet 的扩展，添加交叉注意模块以在两个视图之间融合特征，以适应立体视觉场景，提出了立体图像超分辨率的新方法 ——NAFSSR，并提出了训练 / 测试策略，展示了这种方法的有效性。NAFSSR 在 KITTI 2012、KITTI 2015、Middlebury 和 Flickr1024 数据集上的表现优于现有方法，并在 NTIRE 2022 立体图像超分辨率挑战中获得了第 1 名。

    Apr, 2022

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021

  • 深度爆发超分辨率

    本文提出了一种基于多帧图像超分辨率技术的新型神经网络结构，以像素级光流明确对齐输入帧的深嵌入，使用基于注意力的融合模块自适应地合并来自所有帧的信息，以产生高质量重建的 RGB 图像；同时介绍了 BurstSR 数据集，在真实世界数据上进行了全面实验分析，证明了该模型的有效性。

    Jan, 2021

  • 轻量级立体图像超分辨率的多层特征融合网络

    我们提出了一种高效的轻量级立体图像超分辨率多级特征融合网络（MFFSSR），通过利用混合注意力特征提取块（HAFEB）提取多级视角内部特征，并使用通道分离策略与嵌入的视角交互模块有效地进行交互，该结构配置能够在改善跨视角信息共享效率的同时有效挖掘视图内的特征，从而更准确地重构图像细节和纹理。通过丰富的实验证明了 MFFSSR 的有效性，我们在更少的参数下实现了卓越的性能。源代码可在此 URL 找到。

    May, 2024

  • 图像超分辨率变换：基于 ConvFormer 的高效方法

    通过引入 Convolutional Transformer 层（ConvFormer）和基于 ConvFormer 的超分辨率网络（CFSR），提出了一种有效且高效的轻量级图像超分辨率任务解决方案，通过使用大卷积核卷积作为特征混合器替代自注意模块，实现了较长范围依赖关系和广泛接受域的建模，同时在计算成本稍微增加的情况下保留了更多高频信息，并且相对于现有的轻量级 SR 方法在计算成本和性能之间取得了先进的平衡。

    Jan, 2024

  • NAFRSSR：一种高效的立体图像超分辨率轻量级递归网络

    立体图像超分辨率（SR）是指从双摄像头设备通常捕获的一对低分辨率（LR）图像重建出高分辨率（HR）图像。我们提出了一种名为 NAFRSSR 的简单而高效的立体图像 SR 模型，通过引入递归连接和轻量化构成模块来改进先前最先进的模型 NAFSSR。我们的 NAFRSSR 模型由非线性激活免费和基于组卷积的块（NAFGCBlocks）以及深度分离立体交叉注意力模块（DSSCAMs）组成。NAFRGCBlock 通过从 NAFBlock 中删除简单通道注意机制并使用组卷积来改进特征提取和减少参数数量。DSSCAM 通过将 SCAM 中的 1x1 逐点卷积替换为共享权重的 3x3 深度卷积来增强特征融合和减少参数数量。此外，我们还提出将可训练的边缘检测算子纳入到 NAFRSSR 中以进一步提高模型性能。我们设计了四个不同尺寸的 NAFRSSR 变体，即 NAFRSSR-Mobile、NAFRSSR-Tiny、NAFRSSR-Super 和 NAFRSSR-Base，它们都比先前最先进的模型具有更少的参数、更高的 PSNR/SSIM 和更快的速度。特别地，据我们所知，NAFRSSR-M 是最轻量级（0.28M 参数）和最快（50 毫秒推理时间）的模型，在基准数据集上获得了高达 24.657 dB/0.7622 的平均 PSNR/SSIM。代码和模型将发布在此 https URL

    May, 2024

  • 频率辅助蟒蛇用于遥感图像超分辨率

    提出了一种用于处理大规模远程感知图像超分辨率的频率辅助 Mamba 框架，通过多级融合结构和可学习的缩放适配器实现了准确的特征融合，相比于现有方法具有更高的峰值信噪比和更低的内存消耗和计算复杂度。

    May, 2024