FactoFormer:因子化的高光谱变压器及其自监督预训练
通过使用分层非线性变换和分层矩阵分解建立了一种新的张量分解方法 (H2TF),并基于此提出了一种基于 H2TF 的高光谱图像去噪模型和一种算法来解决该模型,并通过实验验证了该方法优于现有的状态 - of-the-art 高光谱图像去噪方法。
Apr, 2023
通过使用具有特定块大小的 HSI 立方体提取中心像素的空间 - 光谱特征表示,本研究论文探讨了 HSI 立方体中可能记录到的场景特定但非必要的相关性,这些附加信息改善了现有 HSI 数据集上模型的性能,并使其难以正确评估模型的能力。作者引入空间过拟合问题,并利用严格的实验设置来避免该问题。除此之外,论文还提出了一种用于 HSI 分类的多视图变换器,包括多视图主成分分析(MPCA)、光谱编码器 - 解码器(SED)和空间池化标记化变形器(SPTT)。通过构建光谱多视图观察并在每个视图数据上应用 PCA 来降维 HSI,MPCA 能够提取低维视图表示,这些视图表示的组合被称为多视图表示,并作为 MPCA 的输出进行传递。为了聚合多视图信息,论文引入了具有在光谱维度上呈 U 形状的全卷积 SED,用于提取多视图特征图。SPTT 利用空间池化标记化策略将多视图特征转换为标记,并为土地覆盖分类学习了健壮且具有区分性的空间 - 光谱特征。分类采用线性分类器进行,实验结果表明,所提出的多视图变换器优于现有方法,经过严格设置的三个 HSI 数据集上都取得了优越的性能。
Oct, 2023
我们提出了一种基于金字塔形式的分层 Transformer 模型 (PyFormer),用于提高高光谱图像分类的处理效率和抽象传播能力。实验结果显示,这种方法在提高传统方法的基础上有着更好的优势,并且通过集成不同层级的输出,进一步增强了鲁棒性和可靠性,从而展示了我们的方法在推动高光谱图像分类方面的潜力。
Apr, 2024
本研究提出了一种名为 SpectralFormer 的新型网络,它采用了变形金刚模型,从时序的角度重新构思了超光谱图像分类问题,并在三个数据集上证明了其优越性。
Jul, 2021
通过融合低分辨率高光谱图像(LR-HSI)与高分辨率多光谱图像(HR-MSI),提出了一种连续低秩分解(CLoRF)方法,通过将两种神经表示集成到矩阵分解中,分别捕捉空间和光谱信息,实现了低秩和连续性的自监督学习,在实验中显著超过现有技术,并实现了用户期望的分辨率提升,无需神经网络重新训练。
May, 2024
该论文提出了一种基于 Transformer 的 CST 方法,首次将 HSI 稀疏性嵌入到深度学习中进行重建,使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉,相比于现有方法具有更高的重建性能和更低的计算成本。
Mar, 2022
提出了一种名为 SaaFormer 的新型用于处理高光谱图像分类的深度学习模型,采用块状采样方法来减少数据泄露,该模型包含两个主要组成部分:轴向聚合注意力和多级光谱 - 空间提取结构。在六个公开数据集上的结果表明,在块状采样分区时,该模型的性能明显优于其他方法。
Jun, 2023
HPFormer 是一种基于 Transformer 的新方法,利用其强大的表示学习能力来提高视觉跟踪性能,并通过 Hyperspectral Hybrid Attention(HHA)模块实现特征提取和融合,以及通过 Transform Band Module (TBM) 从完整的高光谱输入中选择性地聚合空间细节和光谱特征来注入有信息的目标表示,通过在基准 NIR 和 VIS 跟踪数据集上进行的广泛实验表明,HPFormer 具有最先进的性能,从而提供了利用 Transformer 和高光谱融合来改进鲁棒目标跟踪的新见解。
Aug, 2023
对于富含光谱信息的高光谱图像(HSI),我们引入了基于 Vision Transformer 的基础模型 HyperSIGMA,通过一种新颖的稀疏采样注意力机制 (SSA) 有效地解决了光谱和空间冗余的挑战,并使用特别设计的光谱增强模块,将空间和光谱特征进行整合。 HyperSIGMA 在各种高级和低级 HSI 任务上的广泛实验证明了其多功能性和优越的代表能力,同时显示出在可扩展性、健壮性、跨模态传输能力和实际应用性方面的显著优势。
Jun, 2024
本文提出了一种新的 pansharpening 注意机制,名为 HyperTransformer,它通过在变压器中将 LR-HSI 和 PAN 的特征分别制定为查询和键来改善生成的 HSI 的空间和光谱质量,实现了跨特征空间依赖和 PAN 和 LR-HSI 的长距离详细信息学习,并在三个常用数据集上取得了显著的改进。
Mar, 2022