CVPRNov, 2021

基于掩模引导的谱域变换器，用于高效的高光谱图像重建

PDF
TL;DR本文提出 Mask-guided Spectral-wise Transformer (MST) 框架，通过 Spectral-wise Multi-head Self-Attention 和 Mask-guided Mechanism 的组合，可以有效解决 CNN-based 方法捕捉波谱相似性以及长距离依赖性上的局限性，而且能够充分利用 CASSI 系统中物理屏的信息对高保真度的 HSI 重建有提升作用。
hyperspectral imagecoded aperture snapshot spectral imagingcnn-based methodsmask-guided spectral-wise transformerspectral-wise multi-head self-attention
发现论文，激发创造
  • 粗到细的稀疏变换器用于高光谱图像重建

    该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

    Mar, 2022

  • MST++：多阶段谱转换器用于高效谱重建

    通过使用基于 Transformer 的多阶段光谱智能变换器（MST++）及其包含的光谱注意块，该论文提出了一种新方法实现了显着优于其他最先进方法的重建结果，尤其适用于光谱重建挑战。

    Apr, 2022

  • 超光谱图像重建中掩蔽不确定性建模

    本文介绍了一种新的深度学习方法，利用基于完整的变分贝叶斯学习方法来处理高光谱图像重建中硬件失调的问题，通过感知无序网络（GST）来处理不同硬件情况下的信号不确定性和现实硬件的靶掩模分解。实验证明此方法表现比其他方法更好。

    Dec, 2021

  • 高光谱图像重建的光谱隐式神经表示

    通过引入连续光谱增益过程，以及借鉴隐式神经表示的概念，该研究提出了一种名为 Spectral-wise Implicit Neural Representation (SINR) 的创新方法，用于高光谱图像的重建，实现可定制的光谱超分辨率和全局光谱依赖关系捕捉。实验证明，该方法优于基准方法，并将隐式神经表示引入到 Coded Aperture Snapshot Spectral Imaging（CASSI）领域。

    Dec, 2023

  • 基于 3D 卷积引导的光谱 - 空间变换器用于高光谱图像分类

    我们提出了一种基于 3D 卷积引导的光谱 - 空间 Transformer（3D-ConvSST）的高光谱图像分类方法，该方法利用 3D 卷积引导的残差模块（CGRM）在编码器之间来 “融合” 局部空间和光谱信息以增强特征传递，并通过全局平均池化来提取更具有辨别力和相关性的高级特征进行分类。在三个公共高光谱图像数据集上进行了大量实验，证明了所提出模型相比传统的、卷积和 Transformer 模型的优越性。

    Apr, 2024

  • ESSAformer: 高效率超光谱图像超分辨率的转换器

    通过引入 SCC 作为注意力矩阵并利用 ESSA 技术，提出了 ESSAformer 网络用于超分辨率任务，提升了高光谱图像的视觉质量和定量结果。

    Jul, 2023

  • 多视角变换器：超光谱图像分类中空间信息的重新思考

    通过使用具有特定块大小的 HSI 立方体提取中心像素的空间 - 光谱特征表示，本研究论文探讨了 HSI 立方体中可能记录到的场景特定但非必要的相关性，这些附加信息改善了现有 HSI 数据集上模型的性能，并使其难以正确评估模型的能力。作者引入空间过拟合问题，并利用严格的实验设置来避免该问题。除此之外，论文还提出了一种用于 HSI 分类的多视图变换器，包括多视图主成分分析（MPCA）、光谱编码器 - 解码器（SED）和空间池化标记化变形器（SPTT）。通过构建光谱多视图观察并在每个视图数据上应用 PCA 来降维 HSI，MPCA 能够提取低维视图表示，这些视图表示的组合被称为多视图表示，并作为 MPCA 的输出进行传递。为了聚合多视图信息，论文引入了具有在光谱维度上呈 U 形状的全卷积 SED，用于提取多视图特征图。SPTT 利用空间池化标记化策略将多视图特征转换为标记，并为土地覆盖分类学习了健壮且具有区分性的空间 - 光谱特征。分类采用线性分类器进行，实验结果表明，所提出的多视图变换器优于现有方法，经过严格设置的三个 HSI 数据集上都取得了优越的性能。

    Oct, 2023

  • 一种新的 CNN-Transformer 方法中基于门控 - 移位 - 融合机制的高光谱图像分类增强

    本文介绍了一种包括两个卷积块、一个 Gate-Shift-Fuse（GSF）块和一个 transformer 块的高光谱图像分类模型，通过在局部特征提取方面利用 CNN 的优势以及在远程上下文建模方面利用 transformer 的优势，该模型提供了对高层语义特征的提取能力。同时，提出了一个强化局部和全局空间 - 光谱特征提取的 GSF 块以及一个有效的注意力机制模块，该方法在四个知名数据集上进行了评估，包括 Indian Pines、Pavia University、WHU-WHU-Hi-LongKou 和 WHU-Hi-HanChuan，结果表明该框架相较于其他模型具有更好的效果。

    Jun, 2024

  • 光谱空间混合神经网络用于高光谱图像降噪

    提出了一种混合的空间 - 光谱去噪网络 (HSSD)，该网络通过设计一个新颖的 CNN 和 Transformer 特性的混合双路径网络，以高效地捕获本地和非本地空间细节，同时抑制噪声，从而解决了现有 Transformer-based 方法主要关注非本地建模并忽视图像去噪中局部性的问题，并采用简单但有效的分离策略降低了计算复杂性，通过使用参数较少的多层感知机学习光谱之间的全局相关性。综合和实际实验表明，我们提出的方法在空间和光谱重建方面优于最先进的方法。

    Jun, 2024

  • 深高斯比例混合先验用于光谱压缩成像

    本文提出了一种新颖的基于深度学习和高斯混合先验的 Maximum a Posteriori (MAP) 估计框架的高光谱成像重建方法，该方法通过深度卷积神经网络 (DCNN) 学习尺度先验和局部均值参数，在合成和真实数据集上均取得了超过现有前沿方法的最佳结果。

    Mar, 2021