Feb, 2024

复杂场景下基于分解和干扰感知的红外与可见光图像融合

PDF
TL;DR我们提出了一种基于分解和干扰感知的图像融合方法，通过对可见图像的散射程度进行像素分类并分离图像的细节和能量信息，实现对复杂场景中的干扰像素的更好识别，并结合自适应降噪和加权融合规则，得到在复杂场景下优越的图像融合效果。
infraredvisible image fusioncomplex scenes fusiondecomposition-based methodinterference perception
发现论文，激发创造
  • SimpleFusion：红外和可见光图像的简单融合框架

    将可见光和红外图像融合成一幅高质量图像是许多下游视觉任务中具有挑战性但关键的任务。本文提出了一种简单而有效的可见光和红外图像融合框架 SimpleFusion。该框架通过 Retinex 理论将可见光和红外图像分解成反射和光照部分，并进行相应元素的融合。整个框架采用两个简单的卷积神经网络设计，无需降采样，能够高效地执行图像分解和融合。此外，我们引入了分解损失和细节到语义损失来保留两种模态之间的互补信息进行融合。通过在具有挑战性的基准测试上进行广泛实验，验证了我们方法在之前最先进方法上的优越性。

    Jun, 2024

  • 超越夜间可见性：红外和可见光图像的自适应多尺度融合

    提出了一种自适应多尺度融合网络（AMFusion），通过红外和可见图像的融合规则，分别调整光照分布和提高检测准确性，从而实现针对夜晚物体检测的性能提升。

    Mar, 2024

  • PAIF: 感知感知红外可见光图像融合技术对抗容忍语义分割

    提出了一种感知感知融合框架来提高对抗环境中的分割鲁棒性，通过系统分析图像融合的组成部分与对抗扰动下的分割鲁棒性的相关性，并提出一种基于分解结构的协同设计方法来平衡标准准确率和鲁棒性，以及一种自适应学习策略来提高图像融合的参数鲁棒性。实验结果表明，与先进竞争对手相比，在对抗场景中分割的 mIOU 提高了 15.3%。

    Aug, 2023

  • 红外和可见光图像融合的多尺度信息融合框架

    我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

    Dec, 2023

  • DIDFuse: 基于深度图像分解的红外和可见光图像融合

    本文提出一种基于自编码器的图像融合网络，通过分解图像特征，实现融合的可靠性和细节纹理信息的丰富性，取得了较好的实验效果和鲁棒性。

    Mar, 2020

  • CDeFuse: 红外与可见光图像融合的连续分解

    提出了一种新颖的连续分解融合 (CDeFuse) 机制，通过多尺度相似性约束将原始的三部分分解扩展为更一般的 K 部分分解，并引入连续分解模块 (CDM) 以捕捉模态之间的互补信息，并通过一种新颖的分解损失函数和相应的计算优化策略，实现对分解过程的平滑进行。与之前的方法相比，CDeFuse 取得了可比较的性能。

    Jun, 2024

  • 红外和可见光图像的贝叶斯融合

    利用贝叶斯融合模型，运用 EM 算法，对红外图像和可见光图像进行融合，通过加入 total-variation penalty 来增强目标的自动检测和识别系统，从而得到具有更丰富细节和高光目标的融合图像。

    May, 2020

  • 基于深度学习框架的红外和可见光图像融合

    本文提出了一种基于深度学习框架的有效图像融合方法，该方法能够将红外图像和可见光图像的所有特征生成单个图像。实验结果表明，该方法在客观评估和视觉质量方面均达到了最先进的性能。

    Apr, 2018

  • 去除与选择：通过粗糙到细化融合改进 RGB - 红外目标检测

    本文介绍了一种新的粗到细的特征融合策略，利用 RGB 和红外图像的互补特性，通过去除冗余光谱和动态特征选择，提高了目标检测的性能。通过构建名为 RSDet 的新型目标检测器，并在三个 RGB-IR 目标检测数据集上进行广泛实验，验证了我们方法的优越性能。

    Jan, 2024

  • 从文本到像素：一种针对红外和可见光图像融合的上下文感知语义协同解决方案

    本研究提出了一种基于文本引导的多模态图像融合方法，利用文本描述的高级语义结合红外和可见光图像的语义信息，为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达，并通过双层优化策略同时优化融合和检测问题，本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。

    Dec, 2023