谱地球:大规模训练高光谱基础模型
本文综述了基于深度学习的高光谱影像分类方法,并比较了几种解决方案。该框架将相关工作分为光谱特征网络、空间特征网络和光谱空间特征网络三部分,最后,基于实际高光谱数据验证了几种典型的深度学习分类算法。
Oct, 2019
本研究提出了一种用于学习基于高光谱图像压缩的大规模基准数据集HySpecNet-11k,包括11483个分别为128×128像素的图像,具有224个光谱波段和30m的地面采样距离,用于各种一维,二维和三维卷积自编码器架构的基准测试和未监督学习任务。
Jun, 2023
本文提出了一种基于扩散模型的非监督超光谱图像(HSI)特征学习框架Diff-HSI,其可以利用时间步长性质捕捉更丰富的特征,设计了一个时间步骤的特征库和动态特征融合模块,最后实现了HSI分类。在三个公共HSI数据集上进行的广泛实验证明,Diff-HSI优于各种现有的监督和非监督HSI分类方法。
Jun, 2023
通过使用具有特定块大小的HSI立方体提取中心像素的空间-光谱特征表示,本研究论文探讨了HSI立方体中可能记录到的场景特定但非必要的相关性,这些附加信息改善了现有HSI数据集上模型的性能,并使其难以正确评估模型的能力。作者引入空间过拟合问题,并利用严格的实验设置来避免该问题。除此之外,论文还提出了一种用于HSI分类的多视图变换器,包括多视图主成分分析(MPCA)、光谱编码器-解码器(SED)和空间池化标记化变形器(SPTT)。通过构建光谱多视图观察并在每个视图数据上应用PCA来降维HSI,MPCA能够提取低维视图表示,这些视图表示的组合被称为多视图表示,并作为MPCA的输出进行传递。为了聚合多视图信息,论文引入了具有在光谱维度上呈U形状的全卷积SED,用于提取多视图特征图。SPTT利用空间池化标记化策略将多视图特征转换为标记,并为土地覆盖分类学习了健壮且具有区分性的空间-光谱特征。分类采用线性分类器进行,实验结果表明,所提出的多视图变换器优于现有方法,经过严格设置的三个HSI数据集上都取得了优越的性能。
Oct, 2023
本研究提出了首个通用遥感(RS)基础模型SpectralGPT,使用一种新颖的3D生成预训练变压器(GPT)来处理光谱RS图像,实现了在空间光谱耦合、光谱顺序模式捕捉及大规模RS大数据利用等方面的显著性能提升,对于实现地球科学领域中的光谱RS大数据应用具有巨大潜力。
Nov, 2023
通过空中高光谱图像,利用具有极高空间和光谱分辨率以及覆盖广泛光谱领域的特点,进行大型城市地表覆盖的绘制。然而,由于训练数据的有限性,利用现有机器学习算法对地表覆盖进行绘制的能力受到了严重限制。针对标记数据的稀缺性,半监督和自监督技术引起了社区的广泛关注。因此,我们在本文中发布了Toulouse Hyperspectral数据集,以满足光谱表示学习和大规模高光谱图像分类中的关键问题。此外,我们讨论和实验了Masked Autoencoders的自监督任务,并建立了一个基于常规自编码器与随机森林分类器相结合的像素级分类基线,实现82%的总体准确性和74%的F1得分。
Nov, 2023
SpectralMamba是一种高效的深度学习框架,结合了状态空间模型来进行高光谱图像分类,通过学习动态掩膜和合并光谱的操作在隐藏状态空间中实现了选择性的响应,同时在计算效率和性能角度上取得了令人满意的成果。
Apr, 2024
通过创新性地提出S^2Mamba,即一种适用于高光谱图像分类的空间-光谱状态空间模型,以发掘空间-光谱上下文特征,实现更高效准确的土地覆盖分析。
Apr, 2024
对于富含光谱信息的高光谱图像(HSI),我们引入了基于Vision Transformer的基础模型HyperSIGMA,通过一种新颖的稀疏采样注意力机制(SSA)有效地解决了光谱和空间冗余的挑战,并使用特别设计的光谱增强模块,将空间和光谱特征进行整合。 HyperSIGMA在各种高级和低级HSI任务上的广泛实验证明了其多功能性和优越的代表能力,同时显示出在可扩展性、健壮性、跨模态传输能力和实际应用性方面的显著优势。
Jun, 2024
该研究解决了高光谱图像超分辨率(HSI SR)在准确建模光谱带交互和数据集稀缺性方面的问题。提出了一种新的测试时自训练框架,同时引入了新的网络架构和数据增强方法,从而提高模型性能。实验表明,该方法显著提升了预训练模型在高光谱图像超分辨率任务中的表现。
Sep, 2024