面向降级的展开半混洗变压器用于光谱压缩成像
本文提出了一种基于 Transformer 的深入展开高光谱图像去噪方法 —— 降噪 - 噪声感知展开网络 (DNA-Net), 其使用 U-Shaped Local-Non-local-Spectral Transformer (U-LNSA) 捕获了光谱相关性、局部内容和非局部依赖性。实验结果表明,DNA-Net 优于目前最先进的方法,并且噪声分布的建模对于噪声严重的情况有所帮助。
May, 2023
我们提出了一种适用于高光谱图像重建的像素自适应深度展开变换 (PADUT),通过引入非局部光谱变换 (NST) 强调了 HSI 的 3D 特征,并通过快速傅里叶变换 (FFT) 改进了阶段交互。实验结果表明我们的方法相较于最先进的 HSI 重建方法具有卓越的性能。
Aug, 2023
该论文提出了一种基于 Transformer 的 CST 方法,首次将 HSI 稀疏性嵌入到深度学习中进行重建,使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉,相比于现有方法具有更高的重建性能和更低的计算成本。
Mar, 2022
本文介绍了一种新的深度学习方法,利用基于完整的变分贝叶斯学习方法来处理高光谱图像重建中硬件失调的问题,通过感知无序网络(GST)来处理不同硬件情况下的信号不确定性和现实硬件的靶掩模分解。实验证明此方法表现比其他方法更好。
Dec, 2021
研究了编码光阑快照光谱成像 (CASSI) 的反问题,该方法使用快照 2D 测量来捕获空间 - 光谱数据立方体,并使用算法重建 3D 高光谱图像 (HSI)。然而,基于卷积神经网络 (CNN) 的当前方法难以捕捉长程依赖和非局部相似性。最近流行的基于 Transformer 的方法由于自我注意力引起的高计算成本在下游任务中得不到充分应用。在本文中,我们首次将可变卷积网络 (DCN) 应用于这项任务,提出了粗 - 细粒度光谱感知可变卷积网络 (CFSDCN)。考虑到 HSI 的稀疏性,我们设计了一个变形卷积模块,利用其可变形性来捕捉长程依赖和非局部相似性。此外,我们提出了一个新的光谱信息交互模块,考虑到粗粒度和细粒度的光谱相似性。大量实验证明,我们的 CFSDCN 在模拟和真实 HSI 数据集上显著优于之前的最先进方法。
Jun, 2024
本文提出 Mask-guided Spectral-wise Transformer (MST) 框架,通过 Spectral-wise Multi-head Self-Attention 和 Mask-guided Mechanism 的组合,可以有效解决 CNN-based 方法捕捉波谱相似性以及长距离依赖性上的局限性,而且能够充分利用 CASSI 系统中物理屏的信息对高保真度的 HSI 重建有提升作用。
Nov, 2021
通过使用二阶梯度信息和金字塔注意力模块以及多尺度拆分变换器,我们提出了一种 “泛加速半二次拆分” 算法,用于 MRI 压缩感知图像加速处理,并在大量实验中验证了该方法的有效性。
Apr, 2023
本文提出了一种基于 DUN 框架下的 3D 卷积 - Transformer 混合(CTM)模块,该模块利用 Transformer 的 3D 有效可扩展关注模型充分学习时间和空间维度之间的相关性,并引入方差估计来表征重建过程中的高频信息,实验结果表明该模型在视频 SCI 重建方面取得了最好的表现(比此前的 SOTA 算法 PSNR 提高了 1.2dB)。
Jun, 2023
使用生成模型、潜在扩散模型和基于回归的深展开方法,提出了一种轻量级模型来生成导向重建过程,以改善快照压缩光谱成像重建的质量和计算效率。
Nov, 2023