Oct, 2023

多视角变换器：超光谱图像分类中空间信息的重新思考

PDF
TL;DR通过使用具有特定块大小的 HSI 立方体提取中心像素的空间 - 光谱特征表示，本研究论文探讨了 HSI 立方体中可能记录到的场景特定但非必要的相关性，这些附加信息改善了现有 HSI 数据集上模型的性能，并使其难以正确评估模型的能力。作者引入空间过拟合问题，并利用严格的实验设置来避免该问题。除此之外，论文还提出了一种用于 HSI 分类的多视图变换器，包括多视图主成分分析（MPCA）、光谱编码器 - 解码器（SED）和空间池化标记化变形器（SPTT）。通过构建光谱多视图观察并在每个视图数据上应用 PCA 来降维 HSI，MPCA 能够提取低维视图表示，这些视图表示的组合被称为多视图表示，并作为 MPCA 的输出进行传递。为了聚合多视图信息，论文引入了具有在光谱维度上呈 U 形状的全卷积 SED，用于提取多视图特征图。SPTT 利用空间池化标记化策略将多视图特征转换为标记，并为土地覆盖分类学习了健壮且具有区分性的空间 - 光谱特征。分类采用线性分类器进行，实验结果表明，所提出的多视图变换器优于现有方法，经过严格设置的三个 HSI 数据集上都取得了优越的性能。
land cover identificationhyperspectral imagespatial-spectral featuresmultiview transformerhsi datasets
发现论文，激发创造
  • 基于 3D 卷积引导的光谱 - 空间变换器用于高光谱图像分类

    我们提出了一种基于 3D 卷积引导的光谱 - 空间 Transformer（3D-ConvSST）的高光谱图像分类方法，该方法利用 3D 卷积引导的残差模块（CGRM）在编码器之间来 “融合” 局部空间和光谱信息以增强特征传递，并通过全局平均池化来提取更具有辨别力和相关性的高级特征进行分类。在三个公共高光谱图像数据集上进行了大量实验，证明了所提出模型相比传统的、卷积和 Transformer 模型的优越性。

    Apr, 2024

  • 一种用于高光谱图像分类的快速三维卷积神经网络

    本论文提出了一种利用 3D CNN 模型用于 HSI 分类的方法，其利用了空间光谱特征图以实现良好的性能，并对其性能进行了实验验证。

    Apr, 2020

  • 基于图卷积网络的多视角高光谱图像子空间聚类

    该研究提出了一种基于图卷积网络的高光谱图像的多视角子空间聚类方法，利用空间关系分析和表达了高光谱图像的特性，并通过两个图卷积子空间构建了更具区分度的特征图，该模型在三个流行的高光谱图像数据集上具有较高的聚类准确性。

    Mar, 2024

  • SuperPCA: 一种超像素 PCA 方法用于高光谱图像的无监督特征提取

    本研究提出了一种称为 SuperPCA 的简单但非常有效的超像素 PCA 方法，以学习 HSI 的内在低维特征，通过超像素分割将空间上下文信息纳入无监督的降维，该方法能够提取判别性、紧凑且抗噪声的潜在低维特征，从而改善 HSI 分类性能。

    Jun, 2018

  • 具有语义不变增强的超像素图对比聚类方法在高光谱图像中的应用

    利用三维和二维混合卷积神经网络提取高维空间和光谱特征，设计超像素图对比聚类模型，使用像素采样增强和模型权重增强来改善先验视图对比聚类，通过样本级对齐和聚类中心对比，优化超像素嵌入的类内相似性和类间差异性。在多个高光谱图像数据集上验证了该方法的优势，例如在 India Pines 数据集上，与最先进方法相比，模型的聚类准确率从 58.79% 提高到 67.59%。

    Mar, 2024

  • 基于图卷积网络的高光谱图像对比多视角子空间聚类

    通过使用图卷积网络进行对比多视图子空间聚类，该研究提出了一种有效的方法来解决高维复杂光谱结构对高光谱图像聚类的挑战，通过最大限度地利用 HSI 中的空间和纹理特征信息来提高聚类准确性。

    Dec, 2023

  • 多尺度光谱 - 空间卷积变换器用于高光谱图像分类

    提出了一种多尺度光谱空间卷积 Transformer (MultiscaleFormer) 用于高光谱图像分类，通过多尺度空间补丁和光谱表示来捕捉多尺度光谱空间信息，并通过改进的光谱空间 CAF 模块进行信息融合，取得了优于大部分其他架构的分类性能。

    Oct, 2023

  • 跨不相交样本的超光谱图像分类中的 Transformer 融合

    本文介绍了一种新颖的方法：将 3D Swin Transformer 和 Spatial-spectral Transformer 的注意力机制进行融合，从而显著提高高光谱图像的分类性能。该方法不仅优化了空间和光谱信息的建模，还实现了更精确和准确的分类结果，通过在基准高光谱图像数据集上进行实验和评估，表明了融合方法的有效性，展示了其相对于传统方法和独立变换器的优越性。同时，采用独立的训练、验证和测试样本增强了所提出方法的鲁棒性和可靠性，并突出了其推动高光谱图像分类领域的潜力。

    May, 2024

  • 使用深度学习技术的单模态和多模态超光谱图像分析

    应用深度学习技术来处理高光谱影像的挑战，如高维度和有限空间分辨率，并通过多模态学习整合雷达和合成孔径雷达数据以提高空间分辨率。此外，采用对抗学习和知识蒸馏来解决领域差异和缺失模态的问题。通过自监督学习方法应对有限的训练样本，并通过降维的自动编码器和半监督学习技术利用无标签数据。所提出的方法在各种高光谱数据集上进行评估，并持续超越现有的最先进技术。

    Mar, 2024

  • 基于 Transformer 的异质显著图表示学习用于高光谱和 LiDAR 数据的多模态融合分类

    通过结合多模态图像，本文提出了一种基于 Transformer 的异质显著图形表示（THSGR）方法，以实现更加细致、准确的地表覆盖解释，并且在多个基准数据集上展示了该方法的性能。

    Nov, 2023