Apr, 2018

DenseFuse：红外与可见光图像的融合方法

PDF
TL;DR本文介绍了一种新的深度学习架构，用于红外和可见图像融合问题。相对于常规卷积网络，我们的编码网络由卷积层，融合层和稠密块组合而成，其中每个层的输出与每个其他层相连。我们尝试使用这种架构从源图像中获得更有用的特征。并且设计了两个融合层（融合策略）来融合这些特征。最后，使用解码器重建融合图像。与现有的融合方法相比，所提出的融合方法在客观和主观评估方面均取得了最先进的性能。代码和预训练模型可在此 https URL 上获得。
发现论文，激发创造
  • 基于深度学习框架的红外和可见光图像融合

    本文提出了一种基于深度学习框架的有效图像融合方法，该方法能够将红外图像和可见光图像的所有特征生成单个图像。实验结果表明，该方法在客观评估和视觉质量方面均达到了最先进的性能。

    Apr, 2018

  • NestFuse: 一种基于嵌套连接和空间 / 通道注意力模型的红外和可见光图像融合架构

    本文提出了一种多尺度的红外和可见光图像融合方法，其中采用了空间 / 通道注意力模型，实现了基于嵌套连接网络的图像融合。实验表明，所提出的方法比其他最先进的方法具有更好的融合性能。

    Jul, 2020

  • DIDFuse: 基于深度图像分解的红外和可见光图像融合

    本文提出一种基于自编码器的图像融合网络，通过分解图像特征，实现融合的可靠性和细节纹理信息的丰富性，取得了较好的实验效果和鲁棒性。

    Mar, 2020

  • SimpleFusion：红外和可见光图像的简单融合框架

    将可见光和红外图像融合成一幅高质量图像是许多下游视觉任务中具有挑战性但关键的任务。本文提出了一种简单而有效的可见光和红外图像融合框架 SimpleFusion。该框架通过 Retinex 理论将可见光和红外图像分解成反射和光照部分，并进行相应元素的融合。整个框架采用两个简单的卷积神经网络设计，无需降采样，能够高效地执行图像分解和融合。此外，我们引入了分解损失和细节到语义损失来保留两种模态之间的互补信息进行融合。通过在具有挑战性的基准测试上进行广泛实验，验证了我们方法在之前最先进方法上的优越性。

    Jun, 2024

  • DFuseNet: RGB 和稀疏深度信息的深度融合，用于图像引导的密集深度完成

    本文提出了一种卷积神经网络，它可以基于高分辨率强度图像得出上采样一系列稀疏范围测量的上下文线索，并且在网络中分离、融合两种模态的上下文线索，旨在利用两种模态之间的关系来产生准确的结果，同时尊重显著的图像结构。通过实验结果表明，该方法与当前最先进的方法相媲美，并可在多个数据集上进行有效泛化。

    Feb, 2019

  • 深度卷积稀疏编码网络用于图像融合

    这篇论文介绍了三种基于深度卷积稀疏编码网络的图像融合任务，并使用字典卷积单元将 CSC 模型和迭代收缩阈值算法泛化，从而从数据中学习所有超参数。广泛的实验和综合比较表明，与量化评估和视觉检查相关的所有性能指标中，所提出的网络优越性显著。

    May, 2020

  • VIFNet：一种用于图像去雾的端到端可见 - 红外融合网络

    设计了一个可见 - 红外融合网络用于图像去雾，并通过多尺度深度结构特征提取模块和不一致性加权融合策略，充分利用红外图像的信息来改善效果，实验证明 VIFNet 优于现有方法。

    Apr, 2024

  • 基于空间 - 通道注意机制的红外与可见光图像融合

    通过使用多个卷积核和注意力机制，我们提出了 AMFusionNet，一种创新的红外和可见图像融合方法，通过吸收红外图像的热力细节和可见源的纹理特征，我们的方法生成了丰富信息的图像。实验证明，我们的方法在质量和数量上优于现有的算法，并且公开可用数据集上的性能指标也显示了显著的改进。

    Aug, 2023

  • 超越夜间可见性：红外和可见光图像的自适应多尺度融合

    提出了一种自适应多尺度融合网络（AMFusion），通过红外和可见图像的融合规则，分别调整光照分布和提高检测准确性，从而实现针对夜晚物体检测的性能提升。

    Mar, 2024

  • 从文本到像素：一种针对红外和可见光图像融合的上下文感知语义协同解决方案

    本研究提出了一种基于文本引导的多模态图像融合方法，利用文本描述的高级语义结合红外和可见光图像的语义信息，为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达，并通过双层优化策略同时优化融合和检测问题，本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。

    Dec, 2023