SpectralZoom: 自适应高光谱相机的高效分割

Jun, 2024

SpectralZoom: 自适应高光谱相机的高效分割

SpectralZoom: Efficient Segmentation with an Adaptive Hyperspectral Camera

Jackson Arnold, Sophia Rossi, Chloe Petrosino, Ethan Mitchell, Sanjeev J. Koppal

TL;DR提出一种通过新颖的相机设计和基于 ViT 的算法来减轻高光谱分割的数据占用和计算负担的方法。相机能够自适应地在不同分辨率下采样图像区域或补丁，而不是以高分辨率捕获整个高光谱立方体。分割算法与相机协同工作，仅将基于 ViT 的分割应用于自适应选择的补丁。通过模拟和实际硬件平台展示了精确的分割结果和减少的计算负担。

Abstract

hyperspectral image segmentation is crucial for many fields such as agriculture, remote sensing, biomedical imaging, battlefield sensing and astronomy. However, the challenge of hyper and multi spectral imaging is its large data footprint. We propose both a novel →

hyperspectral image segmentation camera design vision transformer-based algorithm adaptively sample image regions reduced computational burden

发现论文，激发创造

高效主动照明相机用于高光谱重建

我们介绍了一种经济、紧凑且易于使用的主动照明相机，可在许多应用中受益，通过测试植物根部成像表明了相机获得了比传统 RGB 相机更多的信息能力，并且可以从多光谱输入重构高光谱数据，与原始高光谱相机数据兼容。

Jun, 2024

多光谱立体影像融合用于 3D 高光谱场景重建

通过将两个校准的多光谱实时摄像机结合成一个立体系统，我们提出了一种新方法来连续捕捉高光谱数据立方体，实现三维重建和光谱分析，以提高空间分辨率和光谱分辨率的视频流，旨在用于手术辅助监控。

Dec, 2023

区域感知的高光谱分类

我们介绍了 HyLITE，这是一种模型局部和光谱信息的视觉转换器，利用新型的正则化函数促进了局部到全局信息的整合，该方法在准确度上超过了竞争基准，并取得了高达 10％的增益。

Sep, 2023

使用 3D 卷积自编码器对高光谱图像进行无监督分割

本文提出一种全新的无监督式深度学习算法，采用 3D 卷积自编码器与聚类方法相结合的方式，实现高精密度的高光谱图像分割，并作了多方面实验验证。

Jul, 2019

多源融合合成高光谱数据集的高光谱空间分辨率提升

本研究介绍了一个合成高光谱数据集，通过高光谱和高空间分辨率成像实现观测场景或物体的全面、准确、详细的表示，强调多模态融合在生成高质量合成高光谱数据集中的重要性，以及光谱 - 空间关系的改善对于各个领域的分析、监测和决策的影响。

Jun, 2023

一种用于高光谱图像分类的快速三维卷积神经网络

本论文提出了一种利用 3D CNN 模型用于 HSI 分类的方法，其利用了空间光谱特征图以实现良好的性能，并对其性能进行了实验验证。

Apr, 2020

使用深度学习技术的单模态和多模态超光谱图像分析

应用深度学习技术来处理高光谱影像的挑战，如高维度和有限空间分辨率，并通过多模态学习整合雷达和合成孔径雷达数据以提高空间分辨率。此外，采用对抗学习和知识蒸馏来解决领域差异和缺失模态的问题。通过自监督学习方法应对有限的训练样本，并通过降维的自动编码器和半监督学习技术利用无标签数据。所提出的方法在各种高光谱数据集上进行评估，并持续超越现有的最先进技术。

Mar, 2024

基于 3D 卷积引导的光谱 - 空间变换器用于高光谱图像分类

我们提出了一种基于 3D 卷积引导的光谱 - 空间 Transformer（3D-ConvSST）的高光谱图像分类方法，该方法利用 3D 卷积引导的残差模块（CGRM）在编码器之间来 “融合” 局部空间和光谱信息以增强特征传递，并通过全局平均池化来提取更具有辨别力和相关性的高级特征进行分类。在三个公共高光谱图像数据集上进行了大量实验，证明了所提出模型相比传统的、卷积和 Transformer 模型的优越性。

Apr, 2024

高光谱图像获取的广义修补方法

文中介绍了一种利用单体集成光谱滤光片的高光谱成像设备，提出了一种基于压缩感知和分析稀疏模型的超分辨率处理和去马赛克的方法，并通过数值实验验证其效率。

Feb, 2015

多视角变换器：超光谱图像分类中空间信息的重新思考

通过使用具有特定块大小的 HSI 立方体提取中心像素的空间 - 光谱特征表示，本研究论文探讨了 HSI 立方体中可能记录到的场景特定但非必要的相关性，这些附加信息改善了现有 HSI 数据集上模型的性能，并使其难以正确评估模型的能力。作者引入空间过拟合问题，并利用严格的实验设置来避免该问题。除此之外，论文还提出了一种用于 HSI 分类的多视图变换器，包括多视图主成分分析（MPCA）、光谱编码器 - 解码器（SED）和空间池化标记化变形器（SPTT）。通过构建光谱多视图观察并在每个视图数据上应用 PCA 来降维 HSI，MPCA 能够提取低维视图表示，这些视图表示的组合被称为多视图表示，并作为 MPCA 的输出进行传递。为了聚合多视图信息，论文引入了具有在光谱维度上呈 U 形状的全卷积 SED，用于提取多视图特征图。SPTT 利用空间池化标记化策略将多视图特征转换为标记，并为土地覆盖分类学习了健壮且具有区分性的空间 - 光谱特征。分类采用线性分类器进行，实验结果表明，所提出的多视图变换器优于现有方法，经过严格设置的三个 HSI 数据集上都取得了优越的性能。

Oct, 2023