Apr, 2024

金字塔分层变压器用于高光谱图像分类

PDF
TL;DR我们提出了一种基于金字塔形式的分层 Transformer 模型 (PyFormer)，用于提高高光谱图像分类的处理效率和抽象传播能力。实验结果显示，这种方法在提高传统方法的基础上有着更好的优势，并且通过集成不同层级的输出，进一步增强了鲁棒性和可靠性，从而展示了我们的方法在推动高光谱图像分类方面的潜力。
transformer modelhyperspectral image classificationpyramid-based hierarchical transformerprocessing efficiencyabstraction propagation
发现论文，激发创造
  • SpectralFormer：基于 Transformer 的高光谱图像分类的重新思考

    本研究提出了一种名为 SpectralFormer 的新型网络，它采用了变形金刚模型，从时序的角度重新构思了超光谱图像分类问题，并在三个数据集上证明了其优越性。

    Jul, 2021

  • 多尺度光谱 - 空间卷积变换器用于高光谱图像分类

    提出了一种多尺度光谱空间卷积 Transformer (MultiscaleFormer) 用于高光谱图像分类，通过多尺度空间补丁和光谱表示来捕捉多尺度光谱空间信息，并通过改进的光谱空间 CAF 模块进行信息融合，取得了优于大部分其他架构的分类性能。

    Oct, 2023

  • DCN-T: 基于 Transformer 的双重上下文网络用于高光谱图像分类

    本研究提出了一种基于三波段图像生成、端到端分割网络和集成学习方法的高光谱图像分类方案，能够优于现有最先进的方法。

    Apr, 2023

  • 一种新的 CNN-Transformer 方法中基于门控 - 移位 - 融合机制的高光谱图像分类增强

    本文介绍了一种包括两个卷积块、一个 Gate-Shift-Fuse（GSF）块和一个 transformer 块的高光谱图像分类模型，通过在局部特征提取方面利用 CNN 的优势以及在远程上下文建模方面利用 transformer 的优势，该模型提供了对高层语义特征的提取能力。同时，提出了一个强化局部和全局空间 - 光谱特征提取的 GSF 块以及一个有效的注意力机制模块，该方法在四个知名数据集上进行了评估，包括 Indian Pines、Pavia University、WHU-WHU-Hi-LongKou 和 WHU-Hi-HanChuan，结果表明该框架相较于其他模型具有更好的效果。

    Jun, 2024

  • HPFormer：高光谱图像提示目标跟踪

    HPFormer 是一种基于 Transformer 的新方法，利用其强大的表示学习能力来提高视觉跟踪性能，并通过 Hyperspectral Hybrid Attention（HHA）模块实现特征提取和融合，以及通过 Transform Band Module (TBM) 从完整的高光谱输入中选择性地聚合空间细节和光谱特征来注入有信息的目标表示，通过在基准 NIR 和 VIS 跟踪数据集上进行的广泛实验表明，HPFormer 具有最先进的性能，从而提供了利用 Transformer 和高光谱融合来改进鲁棒目标跟踪的新见解。

    Aug, 2023

  • 多视角变换器：超光谱图像分类中空间信息的重新思考

    通过使用具有特定块大小的 HSI 立方体提取中心像素的空间 - 光谱特征表示，本研究论文探讨了 HSI 立方体中可能记录到的场景特定但非必要的相关性，这些附加信息改善了现有 HSI 数据集上模型的性能，并使其难以正确评估模型的能力。作者引入空间过拟合问题，并利用严格的实验设置来避免该问题。除此之外，论文还提出了一种用于 HSI 分类的多视图变换器，包括多视图主成分分析（MPCA）、光谱编码器 - 解码器（SED）和空间池化标记化变形器（SPTT）。通过构建光谱多视图观察并在每个视图数据上应用 PCA 来降维 HSI，MPCA 能够提取低维视图表示，这些视图表示的组合被称为多视图表示，并作为 MPCA 的输出进行传递。为了聚合多视图信息，论文引入了具有在光谱维度上呈 U 形状的全卷积 SED，用于提取多视图特征图。SPTT 利用空间池化标记化策略将多视图特征转换为标记，并为土地覆盖分类学习了健壮且具有区分性的空间 - 光谱特征。分类采用线性分类器进行，实验结果表明，所提出的多视图变换器优于现有方法，经过严格设置的三个 HSI 数据集上都取得了优越的性能。

    Oct, 2023

  • 基于 3D 卷积引导的光谱 - 空间变换器用于高光谱图像分类

    我们提出了一种基于 3D 卷积引导的光谱 - 空间 Transformer（3D-ConvSST）的高光谱图像分类方法，该方法利用 3D 卷积引导的残差模块（CGRM）在编码器之间来 “融合” 局部空间和光谱信息以增强特征传递，并通过全局平均池化来提取更具有辨别力和相关性的高级特征进行分类。在三个公共高光谱图像数据集上进行了大量实验，证明了所提出模型相比传统的、卷积和 Transformer 模型的优越性。

    Apr, 2024

  • SaaFormer: 光谱 - 空间轴向聚合变压器用于高光谱图像分类

    提出了一种名为 SaaFormer 的新型用于处理高光谱图像分类的深度学习模型，采用块状采样方法来减少数据泄露，该模型包含两个主要组成部分：轴向聚合注意力和多级光谱 - 空间提取结构。在六个公开数据集上的结果表明，在块状采样分区时，该模型的性能明显优于其他方法。

    Jun, 2023

  • 传统到 Transformer：高光谱图像分类的当前趋势与未来前景调查

    高光谱图像分类是一项具有挑战性的任务，该研究综述了当前深度学习模型和转换器在高光谱图像分类领域的最新趋势和未来发展前景，并提供了关键概念、方法学以及深度学习和转换器在高光谱图像分类中的最新方法。同时，还通过应用三个高光谱数据集进行了全面的实验验证，并讨论了深度学习模型和转换器方法的优势和挑战。最后，概述了进一步提高高光谱图像分类准确性和效率的未来研究方向和潜在应用。

    Apr, 2024

  • FactoFormer：因子化的高光谱变压器及其自监督预训练

    通过引入因式分解光谱 - 空间 Transformer 与因式化的自监督预训练，本研究在三个公开可用数据集上展示了高光谱图像分类任务中的最新进展。

    Sep, 2023