Mar, 2024

双模先验语义引导的红外和可见光图像融合在智能交通系统中的应用

PDF
TL;DR基于双模性策略的先验语义引导图像融合方法提供了在智能交通系统中提高红外和可见光图像融合性能的新途径，通过设计并应用两个并行的语义分割支路和一种自适应调制机制，捕捉和整合了两个图像的重要的先验语义信息，并通过多级表示自适应融合模块进一步整合高层语义和细节，优于现有图像融合方法。
infrared and visible image fusionintelligent transportation systemsemantic guided image fusion methodrefined feature adaptive-modulationmulti-level representation-adaptive fusion
发现论文，激发创造
  • 联合红外可见光图像融合和显着性目标检测的交互增强范式

    本文提出一种基于红外和可见光图像的交互式多任务范式，通过特征筛选的融合子网和融合引导的交叉互补 SOD 子网相结合，进行物体定位和探测，同时提出交互式循环学习策略，以实现这两个任务的互相增强，取得了显著的效果。

    May, 2023

  • 基于空间 - 通道注意机制的红外与可见光图像融合

    通过使用多个卷积核和注意力机制，我们提出了 AMFusionNet，一种创新的红外和可见图像融合方法，通过吸收红外图像的热力细节和可见源的纹理特征，我们的方法生成了丰富信息的图像。实验证明，我们的方法在质量和数量上优于现有的算法，并且公开可用数据集上的性能指标也显示了显著的改进。

    Aug, 2023

  • SSPFusion：红外与可见光图像融合的语义结构保持方法

    提出一种语义结构保持的红外与可见光图像融合方法 (SSPFusion)，通过结构特征提取器和多尺度结构保持融合模块，在保持语义结构一致性的基础上生成高质量的融合图像，提升下游计算机视觉任务的性能。实验结果表明该方法在定性和定量评估上优于八个先进的图像融合方法。

    Sep, 2023

  • C-RITNet：基于红外和可见光图像融合的无需补充信息挖掘

    借助互补冗余信息传输网络（C-RITNet），本论文提出了一个能够提取和整合两种不同模态中的互补信息以生成高质量融合图像的方法，通过互信息传输模块（MIT）、冗余信息获取以源图像为监督的模块（RIASSI）和结构信息保留模块（SIP），能够解决互补信息提取和稳定边缘结构信息的挑战。

    Sep, 2023

  • 从文本到像素：一种针对红外和可见光图像融合的上下文感知语义协同解决方案

    本研究提出了一种基于文本引导的多模态图像融合方法，利用文本描述的高级语义结合红外和可见光图像的语义信息，为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达，并通过双层优化策略同时优化融合和检测问题，本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。

    Dec, 2023

  • BusReF: 一套特征集中焦点于可重构区域的红外 - 可见光图像配准与融合

    该论文提出了一种名为 BusRef 的单一框架，解决了多模态相机工作时的图像配准和融合问题，同时引入了一种新的训练和评估策略，通过使用蒙版减少无法重构区域对损失函数的影响，大大提高了融合任务的准确性和鲁棒性，通过梯度感知的融合网络进一步提高了算法的性能。

    Dec, 2023

  • 红外和可见光图像融合的多尺度信息融合框架

    我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

    Dec, 2023

  • 超越夜间可见性：红外和可见光图像的自适应多尺度融合

    提出了一种自适应多尺度融合网络（AMFusion），通过红外和可见图像的融合规则，分别调整光照分布和提高检测准确性，从而实现针对夜晚物体检测的性能提升。

    Mar, 2024

  • PAIF: 感知感知红外可见光图像融合技术对抗容忍语义分割

    提出了一种感知感知融合框架来提高对抗环境中的分割鲁棒性，通过系统分析图像融合的组成部分与对抗扰动下的分割鲁棒性的相关性，并提出一种基于分解结构的协同设计方法来平衡标准准确率和鲁棒性，以及一种自适应学习策略来提高图像融合的参数鲁棒性。实验结果表明，与先进竞争对手相比，在对抗场景中分割的 mIOU 提高了 15.3%。

    Aug, 2023

  • 跨模态图像生成与配准的非监督不对准红外与可见光图像融合

    本文提出了一种基于生成和配准的深度学习方法，用于无监督热红外图像和可见光图像的融合，通过生成伪红外图像并使用多级配准网络实现图像配准，在特征交互融合模块中，对所选择的特征进行融合，以提高融合质量和鲁棒性。

    May, 2022