DCN-T: 基于 Transformer 的双重上下文网络用于高光谱图像分类
该研究介绍了一种新型模型 Convolutional Meet Transformer Network (CMTNet),它结合了卷积神经网络和 Transformer,在高光谱作物分类中表现出优越性能,通过光谱和空间特征提取模块、双分支结构、多输出约束模块等实现了全局和局部特征提取以及多输出损失计算与交叉约束,显著优于其他现有网络。
Jun, 2024
我们提出了一种基于 3D 卷积引导的光谱 - 空间 Transformer(3D-ConvSST)的高光谱图像分类方法,该方法利用 3D 卷积引导的残差模块(CGRM)在编码器之间来 “融合” 局部空间和光谱信息以增强特征传递,并通过全局平均池化来提取更具有辨别力和相关性的高级特征进行分类。在三个公共高光谱图像数据集上进行了大量实验,证明了所提出模型相比传统的、卷积和 Transformer 模型的优越性。
Apr, 2024
本文介绍了一种包括两个卷积块、一个 Gate-Shift-Fuse(GSF)块和一个 transformer 块的高光谱图像分类模型,通过在局部特征提取方面利用 CNN 的优势以及在远程上下文建模方面利用 transformer 的优势,该模型提供了对高层语义特征的提取能力。同时,提出了一个强化局部和全局空间 - 光谱特征提取的 GSF 块以及一个有效的注意力机制模块,该方法在四个知名数据集上进行了评估,包括 Indian Pines、Pavia University、WHU-WHU-Hi-LongKou 和 WHU-Hi-HanChuan,结果表明该框架相较于其他模型具有更好的效果。
Jun, 2024
提出了一种名为 DiffSpectralNet 的新型网络,通过结合扩散和变换器技术,利用无监督学习和预训练去噪 U-Net 提取高层和低层光谱空间特征,并使用监督变换器分类器进行高光谱图像分类,实现了超越现有方法的创新,达到了最先进的性能。
Oct, 2023
利用 Hyperspectral Imaging 和 Machine Learning 相结合的方法,采用 Graph Neural Networks 以及 Convolutional Neural Network,通过对局部图像特征和空间上下文信息的建模,实现在肿瘤和健康组织之间进行准确分割的目标。
Nov, 2023
提出了一种混合的空间 - 光谱去噪网络 (HSSD),该网络通过设计一个新颖的 CNN 和 Transformer 特性的混合双路径网络,以高效地捕获本地和非本地空间细节,同时抑制噪声,从而解决了现有 Transformer-based 方法主要关注非本地建模并忽视图像去噪中局部性的问题,并采用简单但有效的分离策略降低了计算复杂性,通过使用参数较少的多层感知机学习光谱之间的全局相关性。综合和实际实验表明,我们提出的方法在空间和光谱重建方面优于最先进的方法。
Jun, 2024
我们提出了一种基于金字塔形式的分层 Transformer 模型 (PyFormer),用于提高高光谱图像分类的处理效率和抽象传播能力。实验结果显示,这种方法在提高传统方法的基础上有着更好的优势,并且通过集成不同层级的输出,进一步增强了鲁棒性和可靠性,从而展示了我们的方法在推动高光谱图像分类方面的潜力。
Apr, 2024
本文提出了一种基于 Transformer 的深入展开高光谱图像去噪方法 —— 降噪 - 噪声感知展开网络 (DNA-Net), 其使用 U-Shaped Local-Non-local-Spectral Transformer (U-LNSA) 捕获了光谱相关性、局部内容和非局部依赖性。实验结果表明,DNA-Net 优于目前最先进的方法,并且噪声分布的建模对于噪声严重的情况有所帮助。
May, 2023
本文介绍了一种新颖的方法:将 3D Swin Transformer 和 Spatial-spectral Transformer 的注意力机制进行融合,从而显著提高高光谱图像的分类性能。该方法不仅优化了空间和光谱信息的建模,还实现了更精确和准确的分类结果,通过在基准高光谱图像数据集上进行实验和评估,表明了融合方法的有效性,展示了其相对于传统方法和独立变换器的优越性。同时,采用独立的训练、验证和测试样本增强了所提出方法的鲁棒性和可靠性,并突出了其推动高光谱图像分类领域的潜力。
May, 2024