Apr, 2024

基于傅里叶增强的隐式神经融合网络用于多光谱与高光谱图像融合

PDF
TL;DR该论文介绍了一种特定设计用于多光谱和高光谱图像融合任务的傅里叶增强的隐式神经融合网络，通过创新地提出了一种空间和频率隐式融合函数（Spa-Fre IFF）来捕捉高频信息并扩展感受野，并发明了一种新的解码器，使用复数 Gabor 小波激活函数，称为空间频率交互解码器（SFID），以增强隐式神经表示特征的交互作用。在两个基准多光谱和高光谱图像融合数据集上的实验证明了该方法在视觉上和定量上的最先进表现，同时消融研究证明了所提出的贡献。
implicit neural representationsmultispectral and hyperspectral image fusionfourier-enhanced implicit neural fusion networkspatial and frequency implicit fusion functionspatial-frequency interactive decoder
发现论文，激发创造
  • 多光谱与高光谱图像融合的隐式神经特征融合函数

    本文提出了一种名为隐式神经特征融合函数（INF）的 INR（Implicit Neural Representation）型高光谱融合模型，以高频细节辅助输入来解决 MHIF（Multispectral and Hyperspectral Image Fusion）问题并且有效改进了其他 INR 的方法及提高了模型的鲁棒性。

    Jul, 2023

  • FINER: 变周期激活函数下的灵活光谱偏置调节的隐式神经表示

    利用神经网络将坐标输入映射到相应属性的隐性神经表示（INR）正在信号处理领域引起革命。然而，当前的 INR 技术在调整其支持的频率集方面存在局限性，导致在表示具有多个频率的复杂信号时性能不完善。我们发现，通过引入变周期激活函数，可以大大缓解这个与频率相关的问题，并提出 FINER。通过在不同范围内初始化神经网络的偏置，选择变周期函数中具有不同频率的子函数进行激活。因此，FINER 的支持频率集可以灵活调节，从而提高信号表示性能。我们在二维图像拟合、三维有向距离场表示和五维神经辐射场优化的背景下展示了 FINER 的能力，并证明它优于现有的 INR。

    Dec, 2023

  • 高光谱图像重建的光谱隐式神经表示

    通过引入连续光谱增益过程，以及借鉴隐式神经表示的概念，该研究提出了一种名为 Spectral-wise Implicit Neural Representation (SINR) 的创新方法，用于高光谱图像的重建，实现可定制的光谱超分辨率和全局光谱依赖关系捕捉。实验证明，该方法优于基准方法，并将隐式神经表示引入到 Coded Aperture Snapshot Spectral Imaging（CASSI）领域。

    Dec, 2023

  • 学习用于隐式神经表征的空间拼贴傅里叶基

    通过引入可学习的空间掩码，将不同频率的傅里叶基函数有效地分配给各个区域，从而实现傅里叶拼贴，并能对复杂信号进行准确表示，该方法在各种 INR 任务中的实验表明，相较于现有基线模型，其重构质量更高，如图像拟合 PSNR 提高了 3dB 以上，3D 重建达到了 98.81 的 IoU 和 0.0011 的 Chamfer 距离。

    Dec, 2023

  • MS/HS 融合网络用于多光谱和高光谱影像融合

    本文提出了一种基于模型的深度学习方法，用于合并高分辨率多光谱和低分辨率高光谱图像以生成高分辨率高光谱图像，实验结果证实该方法在视觉和定量上均优于同类方法。

    Jan, 2019

  • HyperINR: 一种快速预测的超网络，通过知识蒸馏实现隐式神经表示

    本文引入 HyperINR，一种新颖的超网络架构，通过利用多分辨率哈希编码单元的集合，直接预测一个紧凑的 INR 的权重，从而提高了 INR 的推理性能和支持交互式虚拟现实。

    Apr, 2023

  • Conv-INR: 多模视觉信号的卷积隐式神经表示

    本文提出了 Conv-INR，这是第一个完全基于卷积的 INR 模型，相较于现有的基于多层感知机的 INR 模型，Conv-INR 具有更好的表示能力和可训练性，同时能够有效地学习邻近坐标和高频组成部分。通过广泛的实验验证了 Conv-INR 在图像拟合、CT/MRI 重建和新视角合成等四个任务中明显优于现有的基于多层感知机的 INR 模型，而且在不引入额外推理成本的情况下，还提出了三种进一步增强 vanilla Conv-INR 性能的重新参数化方法。

    Jun, 2024

  • FFEINR: 流特征增强的隐式神经表示用于时空超分辨率

    该论文提出了一种基于特征增强的隐式神经表示方法（FFEINR）来进行流场数据的时空超分辨率处理，通过引入特征增强来完善流场的上下文信息，通过设置不同的超参数，实验结果表明，FFEINR 方法相比三线性插值方法取得了显著改善的效果。

    Aug, 2023

  • 通过互联融合进行多模式高光谱图像分类

    介绍了一种新的 “互连融合” 框架用于超光谱图像和激光雷达数据的特征融合，包括从多个视角中利用 HIS-LiDAR 信号的上下文信息和内部特征，可以提高分类准确性。

    Apr, 2023

  • 基于像素感知的深度函数混合网络用于光谱超分辨率

    提出了一种基于像素的深度函数混合网络，其中包括一种新的模块，称为函数混合（FM）块，用于光谱超分辨率，以确定每个像素的接受域大小和映射函数，并使用 late-stage 的中间特征增强了性能，在三个基准 HSI 数据集上验证其优越性。

    Mar, 2019