Jun, 2024

粗细光谱感知可变形卷积在高光谱图像重建中的应用

PDF
TL;DR研究了编码光阑快照光谱成像 (CASSI) 的反问题，该方法使用快照 2D 测量来捕获空间 - 光谱数据立方体，并使用算法重建 3D 高光谱图像 (HSI)。然而，基于卷积神经网络 (CNN) 的当前方法难以捕捉长程依赖和非局部相似性。最近流行的基于 Transformer 的方法由于自我注意力引起的高计算成本在下游任务中得不到充分应用。在本文中，我们首次将可变卷积网络 (DCN) 应用于这项任务，提出了粗 - 细粒度光谱感知可变卷积网络 (CFSDCN)。考虑到 HSI 的稀疏性，我们设计了一个变形卷积模块，利用其可变形性来捕捉长程依赖和非局部相似性。此外，我们提出了一个新的光谱信息交互模块，考虑到粗粒度和细粒度的光谱相似性。大量实验证明，我们的 CFSDCN 在模拟和真实 HSI 数据集上显著优于之前的最先进方法。
发现论文，激发创造
  • 粗到细的稀疏变换器用于高光谱图像重建

    该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

    Mar, 2022

  • 采用空间 - 光谱深度残差卷积神经网络的高光谱图像去噪

    本文提出了一种基于深度学习的方法，通过使用混合空间谱卷积神经网络（HSID-CNN）学习噪声和清晰 HSI 之间的非线性端到端映射来对 HSI 图像进行去噪处理，并通过多尺度特征提取和多级特征表达来捕捉多尺度空间 - 频谱特征并融合不同级别的特征表示来进行最终还原，实验结果表明，该方法在定量评估指标、视觉效果和 HSI 分类准确率方面均优于许多主流方法。

    Jun, 2018

  • 光谱空间混合神经网络用于高光谱图像降噪

    提出了一种混合的空间 - 光谱去噪网络 (HSSD)，该网络通过设计一个新颖的 CNN 和 Transformer 特性的混合双路径网络，以高效地捕获本地和非本地空间细节，同时抑制噪声，从而解决了现有 Transformer-based 方法主要关注非本地建模并忽视图像去噪中局部性的问题，并采用简单但有效的分离策略降低了计算复杂性，通过使用参数较少的多层感知机学习光谱之间的全局相关性。综合和实际实验表明，我们提出的方法在空间和光谱重建方面优于最先进的方法。

    Jun, 2024

  • 基于卷积和注意力网络的高光谱图像去噪

    提出了一种混合卷积和注意力网络（HCANet），通过同时建模全局和局部特征，利用卷积神经网络（CNN）和 Transformer 的优势，设计了卷积和注意力融合模块来捕捉长距离依赖和邻域光谱相关性，以及设计了多尺度前向网络来提取不同尺度的特征，从而提高多尺度信息聚合的性能，实验结果表明了 HCANet 模型的合理性和有效性。

    Mar, 2024

  • 基于自调节卷积神经网络的高光谱图像去噪

    提出了一种自调制卷积神经网络（SM-CNN）用于高光谱图像去噪，通过利用相关的光谱和空间信息，该网络能够根据相邻的光谱数据自适应地转换特征，提高处理复杂噪声的能力，实验证明在合成和真实数据上，SM-CNN 在公共基准数据集上在定量和定性上均优于其他最先进的高光谱图像去噪方法。

    Sep, 2023

  • 自适应交叉注意力空间 - 光谱图卷积网络用于高光谱图像分类

    提出了一种自适应的空间 - 光谱图卷积网络，其中包括一个空间图卷积子网络、一个光谱图卷积子网络和一个图交叉注意力融合模块，通过加入注意力机制，融合了空间和光谱特征，并探索了优化图形的思想，在两个高光谱图像数据集上实验证明了该方法比其他分类方法具有更好的性能。

    Apr, 2022

  • 基于 3D 卷积引导的光谱 - 空间变换器用于高光谱图像分类

    我们提出了一种基于 3D 卷积引导的光谱 - 空间 Transformer（3D-ConvSST）的高光谱图像分类方法，该方法利用 3D 卷积引导的残差模块（CGRM）在编码器之间来 “融合” 局部空间和光谱信息以增强特征传递，并通过全局平均池化来提取更具有辨别力和相关性的高级特征进行分类。在三个公共高光谱图像数据集上进行了大量实验，证明了所提出模型相比传统的、卷积和 Transformer 模型的优越性。

    Apr, 2024

  • 通过对比自蒸馏实现紧凑的单图像超分辨率

    本文提出一种对卷积神经网络进行压缩和加速的新型对比自蒸馏框架。利用通道分割技术构建且压缩学习后的模型，通过显式知识传递和对比损失来提高超分辨率图像和 PSNR / SSIM 的质量。

    May, 2021

  • 一种用于高光谱图像分类的快速三维卷积神经网络

    本论文提出了一种利用 3D CNN 模型用于 HSI 分类的方法，其利用了空间光谱特征图以实现良好的性能，并对其性能进行了实验验证。

    Apr, 2020

  • 面向降级的展开半混洗变压器用于光谱压缩成像

    本文提出一个基于 Transformer 网络的 HSI 重建方法，称作 DAUHST。该方法使用 DAUF 框架估算压缩图像和物理掩模的参数，并使用这些参数来控制每一次迭代。同时，自定义的半洗牌 Transformer（HST）可以同时捕获局部内容和非局部依赖性，实验证明 DAUHST 明显优于其他最先进的方法，并具有较低的计算和存储成本。

    May, 2022