Apr, 2024

CMT: 跨调制变压器与混合损失用于全色增强

PDF
TL;DRPansharpening aims to enhance remote sensing image quality by optimally fusing high-resolution panchromatic with multispectral images using the Cross Modulation Transformer approach, which resolves historical challenges and achieves a seamless integration of spatial and spectral attributes. The framework's superior performance is demonstrated through extensive experiments.
pansharpeningremote sensing imagecross modulation transformerspatial and spectral attributeshybrid loss function
发现论文，激发创造
  • PanFormer：基于 Transformer 的 PAN 融合模型

    本文提出了一种基于 Transformer 模型的卫星图像融合方法，探究 Transformer 在图像特征提取与融合中的潜力，并通过 GaoFen-2 和 WorldView-3 图像的实验表明其在卫星图像融合中具有巨大潜力和性能优势，并超越了许多现有的基于 CNN 的方法。

    Mar, 2022

  • PanBench：高分辨率和高性能全色融合

    提出了使用高分辨率多场景数据集 PanBench 和级联多尺度融合网络（CMFNet）进行高保真度的 Pansharpening，通过对 CMFNet 进行大量实验证实其有效性，并开放了数据集、源代码和预训练模型以促进遥感领域的进一步研究。

    Nov, 2023

  • 遥感图像目标检测的跨通道注意力多模态变换器

    通过多模式远程感知数据进行对象检测，提出了一个基于多模式变换器的解决方案，包括交叉通道注意力模块和结合卷积层和固定维度的新架构，以实现细粒度到粗粒度的表示生成，并在广泛实验中验证了其有效性和适用性。

    Oct, 2023

  • CMTNet: 运用卷积与变换器网络进行高光谱图像分类

    该研究介绍了一种新型模型 Convolutional Meet Transformer Network (CMTNet)，它结合了卷积神经网络和 Transformer，在高光谱作物分类中表现出优越性能，通过光谱和空间特征提取模块、双分支结构、多输出约束模块等实现了全局和局部特征提取以及多输出损失计算与交叉约束，显著优于其他现有网络。

    Jun, 2024

  • 本地 - 全局变压器增强展开网络用于全色锐化

    本文报道了一种名为 LGTEUN 的可解释深度学习网络来提高低分辨率多光谱图像。该网络基于迭代算法，并使用 Local-Global Transformer 模块来同时建模局部和全局依赖关系，从而提高图像的分辨率和降噪水平。实验结果表明，LGTEUN 相对于现有的方法具有更高的效果和效率。

    Apr, 2023

  • 一种用于全色增强的文本和光谱特征融合 Transformer

    本文提出了一种新的 pansharpening 注意机制，名为 HyperTransformer，它通过在变压器中将 LR-HSI 和 PAN 的特征分别制定为查询和键来改善生成的 HSI 的空间和光谱质量，实现了跨特征空间依赖和 PAN 和 LR-HSI 的长距离详细信息学习，并在三个常用数据集上取得了显著的改进。

    Mar, 2022

  • 基于双流融合网络的遥感图像融合

    本文提出了一种名为 TFNet 的双流融合网络，通过卷积神经网络在特征级别上融合高分辨率全色相红外图像和低分辨率多光谱图像来解决遥感图像融合问题，并通过实验验证了该方法的有效性。

    Nov, 2017

  • CrossDiff: 基于交叉预测扩散模型探索自监督全色影像增强的表示

    提出了一种名为 CrossDiff 的跨预测扩散模型，利用自我监督的表示学习方法进行卫星图像的泛光锐化，通过两阶段的训练并与其他方法比较，实验证明了该模型的有效性和优越性，同时验证了其在其他卫星数据集上的泛化能力。

    Jan, 2024

  • 用于遥感影像全色增强的多尺度和多深度卷积神经网络

    本研究提出了一种名为 MSDCNN 的多尺度和多深度卷积神经网络用于遥感影像的 pan-sharpening 任务，该网络通过卷积神经网络的多尺度特征提取和残差学习来实现非线性关系的有效建模，实验结果表明，与其他先进方法相比，MSDCNN 可以获得质量更高的图像。

    Dec, 2017

  • 无监督低秩扩散模型全色影像锐化

    本文介绍了一种无监督的 Pansharpening 方法，通过结合扩散模型和低秩矩阵分解技术，将高分辨率全色（PAN）图像和低分辨率多光谱（LRMS）图像进行合并，以创建一张高分辨率多光谱（HRMS）图像。实验结果表明，该方法比传统基于模型的方法表现更佳，并且比基于深度学习的技术具有更好的泛化能力。

    May, 2023