利用频率相关性进行高光谱图像重建
提出了一种新颖的全面关联变换器(Exhaustive Correlation Transformer,ECT)来进行光谱超分辨率,通过整合统一的空间 - 光谱关注力和相互线性依赖,建立了高光谱图像中的全面关联。实验结果表明,这种方法在模拟和真实数据上都达到了最先进的性能。
Dec, 2023
该论文提出了一种基于 Transformer 的 CST 方法,首次将 HSI 稀疏性嵌入到深度学习中进行重建,使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉,相比于现有方法具有更高的重建性能和更低的计算成本。
Mar, 2022
本文提出了一种新方法,利用频域改善和统一曝光校正任务处理,引入整体频率关注和动态频率前馈网络,用于提取全局信息和动态选择重要频带进行图像恢复。此外,采用拉普拉斯金字塔将图像分解为不同的频带,通过多个修复器分别恢复特定频带信息,最终统一了低光增强、曝光校正和多曝光融合这三个任务,并在主流数据集上取得了最先进的结果。
Sep, 2023
融合基于高光谱图像(HSI)的超分辨率通过融合低空间分辨率的 HSI 和高空间分辨率的多光谱图像来产生高空间分辨率的 HSI。本文提出了一种新颖的基于光谱扩散的先验方法来实现 HSI 超分辨率。在最大后验概率的框架下,通过反向生成过程保留每两个相邻状态之间的转移信息,并将训练好的光谱扩散模型的知识嵌入到融合问题中作为正则化项。最后,将最终优化问题的每个生成步骤视为其子问题,并使用 Adam 算法以反向顺序解决这些子问题。在合成和真实数据集上进行的实验结果证明了所提方法的有效性。所提方法的代码将在此 https 网址上提供。
Nov, 2023
本文提出了一种新颖的基于深度学习和高斯混合先验的 Maximum a Posteriori (MAP) 估计框架的高光谱成像重建方法,该方法通过深度卷积神经网络 (DCNN) 学习尺度先验和局部均值参数,在合成和真实数据集上均取得了超过现有前沿方法的最佳结果。
Mar, 2021
研究了编码光阑快照光谱成像 (CASSI) 的反问题,该方法使用快照 2D 测量来捕获空间 - 光谱数据立方体,并使用算法重建 3D 高光谱图像 (HSI)。然而,基于卷积神经网络 (CNN) 的当前方法难以捕捉长程依赖和非局部相似性。最近流行的基于 Transformer 的方法由于自我注意力引起的高计算成本在下游任务中得不到充分应用。在本文中,我们首次将可变卷积网络 (DCN) 应用于这项任务,提出了粗 - 细粒度光谱感知可变卷积网络 (CFSDCN)。考虑到 HSI 的稀疏性,我们设计了一个变形卷积模块,利用其可变形性来捕捉长程依赖和非局部相似性。此外,我们提出了一个新的光谱信息交互模块,考虑到粗粒度和细粒度的光谱相似性。大量实验证明,我们的 CFSDCN 在模拟和真实 HSI 数据集上显著优于之前的最先进方法。
Jun, 2024
该论文介绍了一种特定设计用于多光谱和高光谱图像融合任务的傅里叶增强的隐式神经融合网络,通过创新地提出了一种空间和频率隐式融合函数(Spa-Fre IFF)来捕捉高频信息并扩展感受野,并发明了一种新的解码器,使用复数 Gabor 小波激活函数,称为空间频率交互解码器(SFID),以增强隐式神经表示特征的交互作用。在两个基准多光谱和高光谱图像融合数据集上的实验证明了该方法在视觉上和定量上的最先进表现,同时消融研究证明了所提出的贡献。
Apr, 2024
本研究针对航空器智能追踪问题,采用自适应多模高光谱传感器和深度学习技术设计出深度高光谱核相关滤波追踪器并在数字成像和遥感图像生成软件中进行了综合评估及性能优化,最终发布了大规模空中车辆分类数据集。
Nov, 2017
我们研究了基于 transformer 的单图像超分辨率方法,并发现 transformer 结构在捕捉低频信息方面更加擅长,但相较于卷积模型在构建高频表示方面容量有限。我们提出的 CRAFT 方法综合了卷积和 transformer 结构的优势,在多个数据集上实验结果表明,CRAFT 方法在参数更少的情况下比当前最先进的方法提高了 0.29dB。
Aug, 2023
通过引入因式分解光谱 - 空间 Transformer 与因式化的自监督预训练,本研究在三个公开可用数据集上展示了高光谱图像分类任务中的最新进展。
Sep, 2023