分层光谱视觉变换器架构在高光谱影像分类中的研究
本文综述了基于深度学习的高光谱影像分类方法,并比较了几种解决方案。该框架将相关工作分为光谱特征网络、空间特征网络和光谱空间特征网络三部分,最后,基于实际高光谱数据验证了几种典型的深度学习分类算法。
Oct, 2019
本研究提出了一种名为 SpectralFormer 的新型网络,它采用了变形金刚模型,从时序的角度重新构思了超光谱图像分类问题,并在三个数据集上证明了其优越性。
Jul, 2021
本文提出了一种基于特定设计的超级卷积核的结构参数生成方法,将原始的复杂双重优化问题转化为易于实现的单阶优化方法,显著降低了搜索成本;同时,结合三维卷积分解机制,获得了不同类型的网络,大大提高了网络的灵活性,取得了超过其他先进的神经架构搜索方法的最优结果。
Apr, 2023
通过引入SCC作为注意力矩阵并利用ESSA技术,提出了ESSAformer网络用于超分辨率任务,提升了高光谱图像的视觉质量和定量结果。
Jul, 2023
使用深度学习技术进行高光谱成像的分类正在迅速增长并取得更好的性能。本综述提供了基于图和注意力机制的方法来进行遥感和航空高光谱图像分类的综合概述,同时总结了相关数据集和处理技术的基准评估。
Oct, 2023
提出了一种多尺度光谱空间卷积Transformer (MultiscaleFormer)用于高光谱图像分类,通过多尺度空间补丁和光谱表示来捕捉多尺度光谱空间信息,并通过改进的光谱空间CAF模块进行信息融合,取得了优于大部分其他架构的分类性能。
Oct, 2023
我们提出了一种基于3D卷积引导的光谱-空间Transformer(3D-ConvSST)的高光谱图像分类方法,该方法利用3D卷积引导的残差模块(CGRM)在编码器之间来“融合”局部空间和光谱信息以增强特征传递,并通过全局平均池化来提取更具有辨别力和相关性的高级特征进行分类。在三个公共高光谱图像数据集上进行了大量实验,证明了所提出模型相比传统的、卷积和Transformer模型的优越性。
Apr, 2024
本文介绍了一种新颖的方法:将3D Swin Transformer和Spatial-spectral Transformer的注意力机制进行融合,从而显著提高高光谱图像的分类性能。该方法不仅优化了空间和光谱信息的建模,还实现了更精确和准确的分类结果,通过在基准高光谱图像数据集上进行实验和评估,表明了融合方法的有效性,展示了其相对于传统方法和独立变换器的优越性。同时,采用独立的训练、验证和测试样本增强了所提出方法的鲁棒性和可靠性,并突出了其推动高光谱图像分类领域的潜力。
May, 2024
对于富含光谱信息的高光谱图像(HSI),我们引入了基于Vision Transformer的基础模型HyperSIGMA,通过一种新颖的稀疏采样注意力机制(SSA)有效地解决了光谱和空间冗余的挑战,并使用特别设计的光谱增强模块,将空间和光谱特征进行整合。 HyperSIGMA在各种高级和低级HSI任务上的广泛实验证明了其多功能性和优越的代表能力,同时显示出在可扩展性、健壮性、跨模态传输能力和实际应用性方面的显著优势。
Jun, 2024
本文介绍了一种包括两个卷积块、一个Gate-Shift-Fuse(GSF)块和一个transformer块的高光谱图像分类模型,通过在局部特征提取方面利用CNN的优势以及在远程上下文建模方面利用transformer的优势,该模型提供了对高层语义特征的提取能力。同时,提出了一个强化局部和全局空间-光谱特征提取的GSF块以及一个有效的注意力机制模块,该方法在四个知名数据集上进行了评估,包括Indian Pines、Pavia University、WHU-WHU-Hi-LongKou和WHU-Hi-HanChuan,结果表明该框架相较于其他模型具有更好的效果。
Jun, 2024