Nov, 2023

多焦点与多模态之间的桥梁：多模态图像融合的聚焦集成框架

PDF
TL;DR在本文中，我们提出了一种多模态图像融合（MMIF）框架，旨在解决多个可见光图像与红外图像的焦点区域不同的融合问题。通过引入半稀疏平滑滤波器对图像进行分解为结构和纹理成分，并提出了一种新的多尺度操作器对纹理成分进行融合。同时，我们考虑结构成分中能量信息的分布，以实现场景亮度的有效捕捉和合理的对比度维持。实验结果表明，该算法在视觉感知和数量化评估方面均优于现有的方法。
multi-modal image fusionjoint focused integrationmodalities information extractionsemi-sparsity-based smoothing filtermulti-scale operator
发现论文，激发创造
  • MMA-UNet：红外和可见光图像融合的多模态非对称 UNet 架构

    本研究提出了一种多模态非对称 UNet（MMA-UNet）的方法，通过为不同模态分别训练专门的特征编码器和实施交叉尺度融合策略，在相同的表示空间中保持不同模态的特征，从而实现了可视化自然且语义丰富的红外和可见光图像信息融合。该方法在融合效率上优于现有的对比融合方法。

    Apr, 2024

  • 多模态多层次融合的三维单目标跟踪

    提出 MMF-Track，一种多模态多级融合跟踪器，利用点云的几何和图像纹理特征跟踪 3D 目标，在 KITTI 上实现了最先进的性能表现，并在 NuScenes 上具有竞争力。

    May, 2023

  • 红外和可见光图像融合的多尺度信息融合框架

    我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

    Dec, 2023

  • SAMF：面向对象检测的小区域感知多焦点图像融合

    本研究提出了一种新的小区域感知多焦点图像融合（MFIF）算法，用于增强物体检测能力，并通过像素属性增强、视觉显著性检测和三区域分割策略来精确确定像素焦点，进而设计了有效的像素选择规则以生成分割决策图并获得最终的融合结果。实验证明，该方法在主观和客观评估中能够准确检测到小且平滑的焦点区域，并改善物体检测性能，优于现有方法。源代码可在此链接获取：https://URL

    Jan, 2024

  • 多交互特征学习和全时多模态图像融合与分割基准

    提出了一种用于图像融合和分割的多交互特征学习架构，名为 SegMiF，利用双任务相关性促进两个任务的性能表现。

    Aug, 2023

  • 基于空间 - 通道注意机制的红外与可见光图像融合

    通过使用多个卷积核和注意力机制，我们提出了 AMFusionNet，一种创新的红外和可见图像融合方法，通过吸收红外图像的热力细节和可见源的纹理特征，我们的方法生成了丰富信息的图像。实验证明，我们的方法在质量和数量上优于现有的算法，并且公开可用数据集上的性能指标也显示了显著的改进。

    Aug, 2023

  • 跨模式目标跟踪通过模态感知融合网络和大规模数据集

    提出了一种自适应跨模态目标跟踪算法 Modality-Aware Fusion Network（MAFNet），它通过自适应加权机制有效地整合 RGB 和近红外模态的信息，弥合了外观差距，实现了模态感知的目标表示。

    Dec, 2023

  • 物理感知网络和全天候多模态逆境天气图像融合基准

    在这篇论文中，我们提出了一种适用于各种天气条件下的多模态图像融合模型，该模型具有抵抗不同天气干扰的能力，并在极端天气条件下展示出出色的细节恢复和多模态特征提取能力。

    Feb, 2024

  • 一个广义的多模型融合检测框架

    本文提出了一种名为 MMFusion 的多模态 3D 检测框架，以在复杂场景中实现 LiDAR 和图像的准确融合，通过实验证明，该框架不仅优于现有基准，而且尤其适用于在 KITTI 基准上检测骑自行车和行人。

    Mar, 2023

  • 等变多模态图像融合

    本文提出 Equivariant Multi-Modality imAge fusion (EMMA) paradigm 用于多模态图像融合，采用自我监督学习方法进行高质量的图像融合，并能够促进下游的多模态分割和检测任务。

    May, 2023