Dec, 2023

高光谱图像重建的光谱隐式神经表示

PDF
TL;DR通过引入连续光谱增益过程，以及借鉴隐式神经表示的概念，该研究提出了一种名为 Spectral-wise Implicit Neural Representation (SINR) 的创新方法，用于高光谱图像的重建，实现可定制的光谱超分辨率和全局光谱依赖关系捕捉。实验证明，该方法优于基准方法，并将隐式神经表示引入到 Coded Aperture Snapshot Spectral Imaging（CASSI）领域。
coded aperture snapshot spectral imaginghyperspectral imagespectral-wise implicit neural representationspectral super-resolutionimplicit neural representation
发现论文，激发创造
  • 基于掩模引导的谱域变换器，用于高效的高光谱图像重建

    本文提出 Mask-guided Spectral-wise Transformer (MST) 框架，通过 Spectral-wise Multi-head Self-Attention 和 Mask-guided Mechanism 的组合，可以有效解决 CNN-based 方法捕捉波谱相似性以及长距离依赖性上的局限性，而且能够充分利用 CASSI 系统中物理屏的信息对高保真度的 HSI 重建有提升作用。

    Nov, 2021

  • 粗到细的稀疏变换器用于高光谱图像重建

    该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

    Mar, 2022

  • 粗细光谱感知可变形卷积在高光谱图像重建中的应用

    研究了编码光阑快照光谱成像 (CASSI) 的反问题，该方法使用快照 2D 测量来捕获空间 - 光谱数据立方体，并使用算法重建 3D 高光谱图像 (HSI)。然而，基于卷积神经网络 (CNN) 的当前方法难以捕捉长程依赖和非局部相似性。最近流行的基于 Transformer 的方法由于自我注意力引起的高计算成本在下游任务中得不到充分应用。在本文中，我们首次将可变卷积网络 (DCN) 应用于这项任务，提出了粗 - 细粒度光谱感知可变卷积网络 (CFSDCN)。考虑到 HSI 的稀疏性，我们设计了一个变形卷积模块，利用其可变形性来捕捉长程依赖和非局部相似性。此外，我们提出了一个新的光谱信息交互模块，考虑到粗粒度和细粒度的光谱相似性。大量实验证明，我们的 CFSDCN 在模拟和真实 HSI 数据集上显著优于之前的最先进方法。

    Jun, 2024

  • 超光谱图像重建中掩蔽不确定性建模

    本文介绍了一种新的深度学习方法，利用基于完整的变分贝叶斯学习方法来处理高光谱图像重建中硬件失调的问题，通过感知无序网络（GST）来处理不同硬件情况下的信号不确定性和现实硬件的靶掩模分解。实验证明此方法表现比其他方法更好。

    Dec, 2021

  • 通过隐式神经表示从 RGB 图像实现连续光谱重建

    本文介绍了 Neural Spectral Reconstruction (NeSR) 方法来提高光谱重建的连续性。通过引入一种新的连续光谱表示，我们利用神经网络实现了参数化拟合。经过实验验证，NeSR 方法在重建准确性方面表现出明显优势，同时也可以支持任意数量的光谱重建。

    Dec, 2021

  • 无监督稀疏狄利克雷网络用于高光谱图像超分辨率

    本文介绍了一种使用无监督编码器 - 解码器体系结构、通过稀疏狄利克雷分布来解决高光谱图像超分辨率问题的方法，并在实验中证明了其优越性能。

    Apr, 2018

  • 深高斯比例混合先验用于光谱压缩成像

    本文提出了一种新颖的基于深度学习和高斯混合先验的 Maximum a Posteriori (MAP) 估计框架的高光谱成像重建方法，该方法通过深度卷积神经网络 (DCNN) 学习尺度先验和局部均值参数，在合成和真实数据集上均取得了超过现有前沿方法的最佳结果。

    Mar, 2021

  • 基于混合卷积的双域网络超分辨率高光谱图像重建

    本研究提出了一种新的高光谱图像超分辨率算法，称为基于混合卷积的双域网络（SRDNet），同时在空间与频率领域设计了双域网络，利用自我注意力机制和频率损失进行优化，并使用 2D 和 3D 单元的混合模块渐进式放大策略，实现了高光谱图像的纹理和特征增强，比现有方法效果更好。

    Apr, 2023

  • 二值光谱压缩成像

    本文提出了一种适用于资源有限的移动设备的高效 HSI 修复方法 —— 二值化光谱重分布网络（BiSRNet），其通过将基础模型二值化并使用可缩放的双曲正切函数来逼近符号函数的方式来重新分配 HSI 表现，并使用四个二值卷积模块来解决尺寸不匹配问题，证明了其优于现有的二值化方法，且与全精度算法达到相当的性能水平。

    May, 2023

  • 基于傅里叶增强的隐式神经融合网络用于多光谱与高光谱图像融合

    该论文介绍了一种特定设计用于多光谱和高光谱图像融合任务的傅里叶增强的隐式神经融合网络，通过创新地提出了一种空间和频率隐式融合函数（Spa-Fre IFF）来捕捉高频信息并扩展感受野，并发明了一种新的解码器，使用复数 Gabor 小波激活函数，称为空间频率交互解码器（SFID），以增强隐式神经表示特征的交互作用。在两个基准多光谱和高光谱图像融合数据集上的实验证明了该方法在视觉上和定量上的最先进表现，同时消融研究证明了所提出的贡献。

    Apr, 2024