Mar, 2024

多尺度隐式转换器与重新参数化的任意尺度超分辨率

PDF
TL;DR最近，基于隐式神经表示的方法在任意尺度超分辨率（ASSR）方面展现出了出色的能力。我们设计了多尺度隐式变换器（MSIT），其中包含一个多尺度神经操作器（MSNO）和多尺度自注意力（MSSA）。通过功能增强、多尺度特征提取和多尺度特征融合，MSNO 获得了多尺度潜在编码。MSSA 进一步增强了潜在编码的多尺度特征，从而提高了性能。此外，为了改进网络性能，我们提出了与累积训练策略相结合的重互作用模块（RIM），以改进网络学习信息的多样性。我们首次在 ASSR 中系统地引入了多尺度特征，并进行了大量实验证明了 MSIT 的有效性，我们的方法在任意超分辨率任务中取得了最先进的性能。
implicit neural representationssuper-resolutionmulti-scale implicit transformer (msit)multi-scale self-attention (mssa)re-interaction module (rim)
发现论文，激发创造
  • 基于模型无关方法的隐式神经表示任意尺度图像超分辨率

    单张图像超分辨率（SISR）使用深度卷积网络取得了显著的进展，但传统网络只能将图像放大到固定比例，因此利用隐式神经函数生成任意比例的图像；本文介绍了一种新颖高效的框架 —— 混合专家隐式超分辨率（MoEISR），它在显著提高计算效率的同时，能够以任意比例进行超分辨率重建，而不损失重建质量；MoEISR 利用轻量级映射器模块动态分配最适合的解码专家给每个像素，使具有不同容量的专家能够重建复杂度各异的区域像素；实验证明，MoEISR 能够在缩减高达 73% 的浮点运算（FLOPs）的同时，提供相当或更优的峰值信噪比（PSNR）。

    Nov, 2023

  • 轻量级多尺度特征交互网络图像超分辨率

    本文提出了一种轻量级多尺度特征交互网络（MSFIN）用于图像超分辨率，通过扩展感受野和利用来自各种尺度的低分辨率观察图像的信息特征以及交互连接。此外，设计了一种轻量级的循环残差通道注意块（RRCAB）以便使网络受益于通道注意机制同时保持足够轻量级。与现有技术相比，本文所提出的 MSFIN 能够以更轻量的模型实现可比性能。

    Mar, 2021

  • 基于 Transformer 的自蒸馏生成式先验用于脑 MRI 超分辨率

    本研究提出了一种基于 TransMRSR 的创新性两阶段脑 MRI 超分辨率方法，具有良好的细节保留和结构重建性能，其中 GAN 是提高高分辨率图像生成质量的关键模块之一。

    Jun, 2023

  • 激活图像超分辨率中更广阔的区域

    本文介绍了使用 Vision Mamba 模型在单图超分辨率 (SISR) 领域中提高性能的方法，并通过引入 MMA 网络的综合实验分析验证了其竞争力和灵活性，鼓励在图像处理领域中进一步探索利用状态空间模型的潜力。

    Mar, 2024

  • 交叉尺度非局部注意力与全面自举例子矿化的图像超分辨率

    本论文提出了首个可将跨尺度特征相关性与非局部注意力机制相融合的循环神经网络，该模型及其与本地和同尺度非局部注意力结合可以更好地发现单个低分辨率图像中的跨尺度特征相关性，从而显著提高图像超分辨率的性能，并在多项 SISR 基准测试中表现出新的最佳效果。

    Jun, 2020

  • 基于交叉空间像素整合和交叉阶段特征融合的遥感图像超分辨率变换网络

    用于遥感图像超分辨率 (RSISR) 的新型 Transformer 网络 SPIFFNet，通过引入跨空间像素整合和跨阶段特征融合注意力机制，有效提高了全局认知和特征表达能力，从而在定量度量和视觉质量上优于现有方法。

    Jul, 2023

  • 多对比度 MRI 的双任意尺度超分辨率

    本文提出了一种基于隐式神经表示的双任意多对比度 MRI 超分辨率方法 (Dual-ArbNet)，该方法可以无限制地使用任意缩放的目标和参考图像进行图像重建，并通过课程学习策略提高了该方法在两个 MRI 数据集上的性能。

    Jul, 2023

  • CiaoSR: 连续隐式注意力在注意力网络中用于任意尺度图像超分辨率

    本文提出了一种连续的隐式关注网络，称为 CiaoSR，以解决在单张图片超分辨率重建中可能遇到的局部模型信息不足、感受野受限的问题，并在多个基准数据集上实验表明 CiaoSR 显著优于现有的单个图像超分辨率方法，并取得了任意比例超分辨率任务的最佳性能。

    Dec, 2022

  • 屏幕内容图像连续超分辨率的隐式变换网络

    针对面向屏幕内容的超分辨率问题，本文提出一个新的 ITSRN 网络来实现高质量的连续超分辨率，该网络的关键在于调整像素的查询坐标并使用隐式位置编码方案对邻近像素值进行聚合，实验表明该方法在解决压缩和非压缩 SCI 方面优于其他 SR 方法。

    Dec, 2021

  • 超越融合：一种用于遥感图像 - 文本检索的多尺度对齐方法

    遥感图像文本检索领域的研究论文，介绍了一种新的多尺度对齐方法，使用多尺度图像特征和本地化文本特征进行交叉对齐，并引入语义对齐损失与跨尺度多模态语义一致性损失，通过在多个数据集上的评估证明了其优越性。

    May, 2024