Jul, 2023

基于单一示例的可见光和红外自我监督融合训练

PDF
TL;DR该研究提出了一种可见光与近红外图像融合的方法，通过使用 RGBT 传感器获取的可见图像和近红外通道的信息，利用 SSIM 损失和边缘保护等技术进行融合，并在实验证明相比其他方法，该方法在多光谱融合方面取得了更好的结果。
visible to near-infrared image fusionmultispectral imagingrgbt sensorssim lossedge preservation
发现论文，激发创造
  • 使用深度卷积神经网络的红外图像上色

    本文介绍了一种使用深度多尺度卷积神经网络将 RGB 彩色谱转换为近红外 (NIR) 图像的方法，通过 NIR 和 RGB 像素之间的直接集成传输来训练模型，不需要任何用户指导或参考图像数据库，在召回阶段生成具有自然外观的图像，并通过保留 NIR 图像的丰富细节，将其高频特征转移至估算的 RGB 图像，本方法在一个真实世界的数据集上进行了训练和评估，该数据集包含大量夏季道路场景图像，由多 CCD NIR/RGB 相机捕获，保证了完美的像素对齐。

    Apr, 2016

  • 图表示学习的红外和可见光图像融合

    通过使用图卷积网络（GCNs）提取非局部自相似性（NLss），本论文探索了红外和可见图像融合的关键问题，并实现了级联的 NLss 提取模式来提取多种模式下的 NLss，并在三个数据集上的大量实验中证明了该方法的有效性和优越性。

    Nov, 2023

  • 使用 3-D 卷积神经网络进行多光谱和高光谱图像融合

    本文提出使用三维卷积神经网络（3-D-CNN）的方法来融合多光谱（MS）和高光谱（HS）图像，以获得高分辨率的高光谱图像。在融合之前进行高光谱图像的降维以显著减少计算时间，并使方法对噪声更具鲁棒性。实验结果表明，与传统方法相比，所提出的方法在高光谱图像受加性噪声干扰时尤其表现出色。

    Jun, 2017

  • 基于空间 - 通道注意机制的红外与可见光图像融合

    通过使用多个卷积核和注意力机制，我们提出了 AMFusionNet，一种创新的红外和可见图像融合方法，通过吸收红外图像的热力细节和可见源的纹理特征，我们的方法生成了丰富信息的图像。实验证明，我们的方法在质量和数量上优于现有的算法，并且公开可用数据集上的性能指标也显示了显著的改进。

    Aug, 2023

  • 基于信息互补的可见光和近红外图像融合算法

    设计了一种从物理信号级别进行互补融合的模型，利用可见光和近红外传感器的光谱特性来增强图像质量，并在实验证明该算法能够很好地利用光谱特性和信息互补性，避免色彩不自然的同时保持自然感，优于现有技术。

    Sep, 2023

  • 使用对抗训练进行未配对的热到可见光谱转换

    提出了一种使用生成对抗网络的无监督学习方法，来实现热红外相机拍摄图像的可视化处理，相较于现有的监督学习模型，该模型在 KAIST-MS 数据集上表现更好，并且对新环境具有良好的泛化性能。

    Apr, 2019

  • 单个热成像的多模态传感器融合超分辨率

    本文提出了一种基于深度学习的解决方案，通过多模态图像融合模型来提高热红外图像的分辨率，并研究了一系列网络架构、上采样方法、学习过程以及优化函数对图像超分辨率问题的有益作用，并提出了一个基准数据集进行定量评估

    Dec, 2018

  • 隐式多光谱转换器：一种轻量且有效的可见光到红外图像转换模型

    通过使用基于 Transformer 的新型模型，将可见光图像转换为高保真红外图像，从而解决了低光条件下可见光图像对比度低的问题，并比现有方法在质量和数量上都有显着优势，为红外图像的下游应用提供了更有效的支持。

    Apr, 2024

  • 超越夜间可见性：红外和可见光图像的自适应多尺度融合

    提出了一种自适应多尺度融合网络（AMFusion），通过红外和可见图像的融合规则，分别调整光照分布和提高检测准确性，从而实现针对夜晚物体检测的性能提升。

    Mar, 2024

  • NIR 辅助图像去噪：一种选择性融合方法与真实世界基准数据集

    通过有效利用近红外图像辅助可见光图像去噪，提出了一种选择性融合模块（SFM）来解决近红外 - 可见光图像去噪的内容不一致和数据稀缺等问题，并通过综合全局和局部调节的方式实现了两种特征的融合。实验结果表明，该方法在合成和真实数据集上均取得了优于现有方法的效果，同时还提供了公开的数据集、代码和预训练模型。

    Apr, 2024