Apr, 2024

基于 3D 卷积引导的光谱 - 空间变换器用于高光谱图像分类

PDF
TL;DR我们提出了一种基于 3D 卷积引导的光谱 - 空间 Transformer（3D-ConvSST）的高光谱图像分类方法，该方法利用 3D 卷积引导的残差模块（CGRM）在编码器之间来 “融合” 局部空间和光谱信息以增强特征传递，并通过全局平均池化来提取更具有辨别力和相关性的高级特征进行分类。在三个公共高光谱图像数据集上进行了大量实验，证明了所提出模型相比传统的、卷积和 Transformer 模型的优越性。
vision transformershyperspectral image classification3d-convolution guided spectral-spatial transformer3d-convsstglobal average pooling
发现论文，激发创造
  • 一种用于高光谱图像分类的快速三维卷积神经网络

    本论文提出了一种利用 3D CNN 模型用于 HSI 分类的方法，其利用了空间光谱特征图以实现良好的性能，并对其性能进行了实验验证。

    Apr, 2020

  • 多视角变换器：超光谱图像分类中空间信息的重新思考

    通过使用具有特定块大小的 HSI 立方体提取中心像素的空间 - 光谱特征表示，本研究论文探讨了 HSI 立方体中可能记录到的场景特定但非必要的相关性，这些附加信息改善了现有 HSI 数据集上模型的性能，并使其难以正确评估模型的能力。作者引入空间过拟合问题，并利用严格的实验设置来避免该问题。除此之外，论文还提出了一种用于 HSI 分类的多视图变换器，包括多视图主成分分析（MPCA）、光谱编码器 - 解码器（SED）和空间池化标记化变形器（SPTT）。通过构建光谱多视图观察并在每个视图数据上应用 PCA 来降维 HSI，MPCA 能够提取低维视图表示，这些视图表示的组合被称为多视图表示，并作为 MPCA 的输出进行传递。为了聚合多视图信息，论文引入了具有在光谱维度上呈 U 形状的全卷积 SED，用于提取多视图特征图。SPTT 利用空间池化标记化策略将多视图特征转换为标记，并为土地覆盖分类学习了健壮且具有区分性的空间 - 光谱特征。分类采用线性分类器进行，实验结果表明，所提出的多视图变换器优于现有方法，经过严格设置的三个 HSI 数据集上都取得了优越的性能。

    Oct, 2023

  • 基于马尔可夫随机场和卷积神经网络的高光谱图像分类

    该论文提出了一种新的超光谱遥感图像监督分类算法，该算法在统一的贝叶斯框架下集成了波谱和空间信息，并结合卷积神经网络和 Alpha-Expansion Min-Cut 算法。实验结果表明，该算法在一个合成数据集和两个基准超光谱数据集上的性能要优于其他最先进的方法。

    May, 2017

  • 基于掩模引导的谱域变换器，用于高效的高光谱图像重建

    本文提出 Mask-guided Spectral-wise Transformer (MST) 框架，通过 Spectral-wise Multi-head Self-Attention 和 Mask-guided Mechanism 的组合，可以有效解决 CNN-based 方法捕捉波谱相似性以及长距离依赖性上的局限性，而且能够充分利用 CASSI 系统中物理屏的信息对高保真度的 HSI 重建有提升作用。

    Nov, 2021

  • 粗到细的稀疏变换器用于高光谱图像重建

    该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

    Mar, 2022

  • DCN-T: 基于 Transformer 的双重上下文网络用于高光谱图像分类

    本研究提出了一种基于三波段图像生成、端到端分割网络和集成学习方法的高光谱图像分类方案，能够优于现有最先进的方法。

    Apr, 2023

  • 跨不相交样本的超光谱图像分类中的 Transformer 融合

    本文介绍了一种新颖的方法：将 3D Swin Transformer 和 Spatial-spectral Transformer 的注意力机制进行融合，从而显著提高高光谱图像的分类性能。该方法不仅优化了空间和光谱信息的建模，还实现了更精确和准确的分类结果，通过在基准高光谱图像数据集上进行实验和评估，表明了融合方法的有效性，展示了其相对于传统方法和独立变换器的优越性。同时，采用独立的训练、验证和测试样本增强了所提出方法的鲁棒性和可靠性，并突出了其推动高光谱图像分类领域的潜力。

    May, 2024

  • 对比图卷积网络用于高光谱图像分类

    本文提出了一种基于对比学习的图卷积网络模型（ConGCN）来增强高光谱图像分类任务的特征表示能力，通过使用半监督对比损失函数和图生成损失函数从光谱信息和空间关系中挖掘出最大的监督信号。实验结果表明，该模型在四个典型的基准数据集上取得了显著的性能提升。

    May, 2022

  • 基于生成对抗网络和概率图模型的高光谱图像分类

    本文介绍了一种使用生成式对抗网络与概率图模型相集成的方法来进行高光谱图像分类，试图提高分类精度并在数据利用率上更有效地使用大量未标注数据，实验结果表明，这种方法在使用少量数据进行训练时，获得了令人鼓舞的分类准确度。

    Feb, 2018

  • SpectralFormer：基于 Transformer 的高光谱图像分类的重新思考

    本研究提出了一种名为 SpectralFormer 的新型网络，它采用了变形金刚模型，从时序的角度重新构思了超光谱图像分类问题，并在三个数据集上证明了其优越性。

    Jul, 2021