Jun, 2024

CSAKD: 跨自注意力知识蒸馏用于高光谱和多光谱图像融合

PDF
TL;DR提出了一种新颖的知识蒸馏框架以实现低分辨率高光谱图像的超分辨率，该框架通过使用交叉层残差聚合模块增强效率，同时从低分辨率高光谱图像和高分辨率多光谱图像中提取联合和独立特征，并采用交叉自注意力融合模块适应性地融合这些特征，以提高重构的高分辨率高光谱图像的空间和光谱质量。
hyperspectral imaginghr-msi/lr-hsi fusionknowledge distillationcross-layer residual aggregationdual two-streamed network
发现论文，激发创造
  • 基于条件扩散模型的高光谱图像超分辨率 (HSR) 重建

    提出了一个使用条件扩散模型的高光谱影像超分辨率方法，该方法融合了高分辨率多光谱图像（MSI）和相对应的低分辨率超光谱影像（LR-HSI），通过经过多次优化的迭代过程生成超分辨率图像。实验表明，该方法在超分辨率领域的表现优于目前的状态 - of-the-art 方法。

    Jun, 2023

  • 通过自监督表示实现任意分辨率的高光谱与多光谱图像融合

    通过融合低分辨率高光谱图像（LR-HSI）与高分辨率多光谱图像（HR-MSI），提出了一种连续低秩分解（CLoRF）方法，通过将两种神经表示集成到矩阵分解中，分别捕捉空间和光谱信息，实现了低秩和连续性的自监督学习，在实验中显著超过现有技术，并实现了用户期望的分辨率提升，无需神经网络重新训练。

    May, 2024

  • MS/HS 融合网络用于多光谱和高光谱影像融合

    本文提出了一种基于模型的深度学习方法，用于合并高分辨率多光谱和低分辨率高光谱图像以生成高分辨率高光谱图像，实验结果证实该方法在视觉和定量上均优于同类方法。

    Jan, 2019

  • 基于对比学习的光谱知识蒸馏在语义分割中的多模态和缺失模态场景下的应用

    通过使用多光谱信息来提高语义分割模型的性能对于低光和恶劣环境至关重要。提出了一种名为 CSK-Net 的新型多模态融合方法，它利用对比学习为光学（EO）和红外（IR）图像的语义分割提供了基于光谱知识蒸馏的融合技术。该方法不仅在多模态任务上超过了现有的模型，而且在缺失模态的情况下，仅利用 IR 数据进行推断就能提高性能，而与基线分割模型相比，并没有额外的计算成本。

    Dec, 2023

  • 无监督稀疏狄利克雷网络用于高光谱图像超分辨率

    本文介绍了一种使用无监督编码器 - 解码器体系结构、通过稀疏狄利克雷分布来解决高光谱图像超分辨率问题的方法，并在实验中证明了其优越性能。

    Apr, 2018

  • HDNet：用于光谱压缩成像的高分辨率双域学习

    本文提出了一个高分辨率双域学习网络（HDNet）用于高光谱图像的重建，该网络采用像素级精细特征和频率级细化来提高感知质量，在模拟和真实数据集中取得了最优结果。

    Mar, 2022

  • 基于循环一致性的无监督高光谱和多光谱图像融合

    本文提出了一种基于循环一致性的无监督高光谱图像和多光谱图像融合模型，通过学习低分辨率高光谱图像与高分辨率多光谱图像之间的域转换，实现了高分辨率高光谱图像的生成，并且在多个数据集上的实验证明该模型优于其他无监督融合方法。

    Jul, 2023

  • 基于混合卷积的双域网络超分辨率高光谱图像重建

    本研究提出了一种新的高光谱图像超分辨率算法，称为基于混合卷积的双域网络（SRDNet），同时在空间与频率领域设计了双域网络，利用自我注意力机制和频率损失进行优化，并使用 2D 和 3D 单元的混合模块渐进式放大策略，实现了高光谱图像的纹理和特征增强，比现有方法效果更好。

    Apr, 2023

  • 基于耦合解混网络的交叉注意力非监督高光谱超分辨率

    本研究提出了一种带有跨注意机制的耦合解混合网络 (CUCaNet)，用于通过更高空间分辨率的多光谱图像 (MSI) 增强高光谱图像 (HSI) 的空间分辨率，并在三个广泛使用的 HS-MS 数据集上进行了广泛的实验来证明其优越性。

    Jul, 2020

  • 基于 LiDAR 引导的交叉注意力融合方法用于高光谱波段选择和图像分类

    本文介绍了一种从变压器架构引入的交叉注意机制，用于根据 LiDAR 数据进行高光谱图像 (HSI) 波段的选择。通过将 LiDAR 数据用作 “查询” 以搜索和识别 HSI 中的 “关键”，选择与 LiDAR 最相关的波段，以显著减少冗余和计算要求，旨在提高 HSI 波段的分类准确性和性能。

    Apr, 2024