Apr, 2024

Swin2-MoSE：一种新的遥感单幅图像超分辨率模型

PDF
TL;DR我们提出了 Swin2-MoSE 模型，它是 Swin2SR 的增强版本，引入 MoE-SM（增强的专家混合编码器）来替换 Transformer 模块中的前馈网络，并通过智能合并、新的输出融合层和新的工作分配策略，改进了专家之间的合作。同时，我们分析了位置编码之间的相互作用，证明了通道偏差和头部偏差的正向合作效果。最后，我们提出采用标准化互相关（NCC）和结构相似性指数（SSIM）损失的组合，以克服常规均方损失的局限性。实验结果表明，在 2 倍、3 倍和 4 倍分辨率放大任务上，Swin2-MoSE 在 Sen2Venus 和 OLI2MSI 数据集上相对于现有最佳方法的 PSNR 提高了 0.377~0.958 dB。我们还展示了 Swin2-MoSE 在语义分割任务（SeasoNet 数据集）中的有效性。代码和预训练模型可在给出的 URL 中获取。
发现论文，激发创造
  • 基于模型无关方法的隐式神经表示任意尺度图像超分辨率

    单张图像超分辨率（SISR）使用深度卷积网络取得了显著的进展，但传统网络只能将图像放大到固定比例，因此利用隐式神经函数生成任意比例的图像；本文介绍了一种新颖高效的框架 —— 混合专家隐式超分辨率（MoEISR），它在显著提高计算效率的同时，能够以任意比例进行超分辨率重建，而不损失重建质量；MoEISR 利用轻量级映射器模块动态分配最适合的解码专家给每个像素，使具有不同容量的专家能够重建复杂度各异的区域像素；实验证明，MoEISR 能够在缩减高达 73% 的浮点运算（FLOPs）的同时，提供相当或更优的峰值信噪比（PSNR）。

    Nov, 2023

  • Swin2SR：用于压缩图像超分辨率与恢复的 SwinV2 Transformer

    本文采用 Swin Transformer V2 来改善图像超分辨率问题，特别是针对压缩输入情况，通过实验验证 Swin2SR 方法能显著提高 SwinIR 的性能。

    Sep, 2022

  • 用于超高效超分辨率的可折叠线性模块

    本文提出了一种基于线性过参数化的卷积神经网络的超高清图像重建模型，其在六个基准数据集上取得了类似或更好的图像质量，需要比现有模型少 2 倍至 330 倍的操作，适用于受限制的硬件并可用于实际移动设备上进行超高清图像重建。

    Mar, 2021

  • 一种基于改进 U-net 和混合梯度损失的单图像超分辨率方法

    本文提出了一种基于 Mixed Gradient Error 的深度学习网络 ——Modified U-net，将其作为损失函数，减少网络参数，从而加速图像重构，与现有方法相比，该重构方法具有更好的性能和时间消耗。

    Nov, 2019

  • 水下图像同步增强和超分辨率以实现更好的视觉感知

    提出 Deep SESR 方法，支持水下机器人对图像进行同步增强和超分辨，通过多模态目标函数训练，能够支持 2x、3x、4x 空间分辨率的图像恢复，并在 UFO-120 数据集上进行了验证实验。

    Feb, 2020

  • 基于交叉空间像素整合和交叉阶段特征融合的遥感图像超分辨率变换网络

    用于遥感图像超分辨率 (RSISR) 的新型 Transformer 网络 SPIFFNet，通过引入跨空间像素整合和跨阶段特征融合注意力机制，有效提高了全局认知和特征表达能力，从而在定量度量和视觉质量上优于现有方法。

    Jul, 2023

  • 超出光流的多图像超分辨率的深度 3D 世界模型

    多图像超分辨率 (MISR) 方法以子像素偏移的形式结合多张图像中的互补信息来提高低分辨率 (LR) 图像的空间分辨率，在准确注册和融合多图像信息方面存在困难。本研究提出的 EpiMISR 模型通过使用采集过程的极线几何以及基于 Transformer 的辐射特征场进行处理，在存在大的 LR 图像视差的情况下明显改进了目前最先进的 MISR 方法。

    Jan, 2024

  • 单张磁共振图像超分辨率的通道分离网络

    本研究提出了利用通道分割网络（CSN）来缓解深度学习模型的表达负担，从而提高医学磁共振图像的空间分辨率。在各种磁共振图像（包括质子密度（PD）、T1 和 T2）上进行了广泛的实验，证明了所提出的 CSN 模型在单张图像超分辨率方面比其他最先进的方法具有更出色的性能。

    Oct, 2018

  • SwinFuSR：一种受图像融合启发的 RGB 引导的热成像超分辨率模型

    基于 Swin transformers 的引导型 SR 架构 SwinFuSR，通过从高分辨率可见光图像提取信息，实现了对低分辨率红外图像的增强重建。

    Apr, 2024

  • 基于 Transformer 的自蒸馏生成式先验用于脑 MRI 超分辨率

    本研究提出了一种基于 TransMRSR 的创新性两阶段脑 MRI 超分辨率方法，具有良好的细节保留和结构重建性能，其中 GAN 是提高高分辨率图像生成质量的关键模块之一。

    Jun, 2023