Apr, 2024

MMA-UNet：红外和可见光图像融合的多模态非对称 UNet 架构

PDF
TL;DR本研究提出了一种多模态非对称 UNet（MMA-UNet）的方法，通过为不同模态分别训练专门的特征编码器和实施交叉尺度融合策略，在相同的表示空间中保持不同模态的特征，从而实现了可视化自然且语义丰富的红外和可见光图像信息融合。该方法在融合效率上优于现有的对比融合方法。
multi-modal image fusionasymmetric unetcross-scale fusion strategyinformation fusion processinfrared and visible image information
发现论文，激发创造
  • 多焦点与多模态之间的桥梁：多模态图像融合的聚焦集成框架

    在本文中，我们提出了一种多模态图像融合（MMIF）框架，旨在解决多个可见光图像与红外图像的焦点区域不同的融合问题。通过引入半稀疏平滑滤波器对图像进行分解为结构和纹理成分，并提出了一种新的多尺度操作器对纹理成分进行融合。同时，我们考虑结构成分中能量信息的分布，以实现场景亮度的有效捕捉和合理的对比度维持。实验结果表明，该算法在视觉感知和数量化评估方面均优于现有的方法。

    Nov, 2023

  • 跨模式目标跟踪通过模态感知融合网络和大规模数据集

    提出了一种自适应跨模态目标跟踪算法 Modality-Aware Fusion Network（MAFNet），它通过自适应加权机制有效地整合 RGB 和近红外模态的信息，弥合了外观差距，实现了模态感知的目标表示。

    Dec, 2023

  • 等变多模态图像融合

    本文提出 Equivariant Multi-Modality imAge fusion (EMMA) paradigm 用于多模态图像融合，采用自我监督学习方法进行高质量的图像融合，并能够促进下游的多模态分割和检测任务。

    May, 2023

  • 使用不对称多层融合学习深层次多模态特征表示

    本文介绍了一种有效的多模态特征融合框架，其中采用了两种创新的融合方案，可在一个共享的单一网络中学习多模态特征，并引入两个非对称融合操作，以增强跨通道的多模态特征交互并增强通道内的空间特征区分能力。实验结果表明，本文提出的框架在语义分割和图像翻译任务中表现优异。

    Aug, 2021

  • 红外和可见光图像融合的多尺度信息融合框架

    我们提出了一种多尺度双注意 (MDA) 框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

    Dec, 2023

  • 多模态图像恢复与融合的深度卷积神经网络

    本论文提出了一种新颖的深度卷积神经网络，用于解决多模态图像恢复和融合问题，其架构从多模态卷积稀疏编码模型中得到启发，具有自动分离共享于不同模态之间的公共信息和属于单一模态的独特信息的特点，命名为 CU-Net, 由 3 个模块组成，可以在各种 MIR 和 MIF 任务中发挥作用。

    Oct, 2019

  • 面对缺失模态问题，如何打造强大的多模态模型？

    多模态学习中处理缺失模态的信息论方法，通过引入 Uni-Modal Ensemble with Missing Modality Adaptation 技术，实现了对非缺失模态的特征提取和融合过程中的噪声鲁棒性增强，适用于广泛的模态并可无缝集成大规模预训练编码器，展示了在音频 - 视觉数据集和视觉 - 语言数据集上的有效性。

    Oct, 2023

  • 基于空间 - 通道注意机制的红外与可见光图像融合

    通过使用多个卷积核和注意力机制，我们提出了 AMFusionNet，一种创新的红外和可见图像融合方法，通过吸收红外图像的热力细节和可见源的纹理特征，我们的方法生成了丰富信息的图像。实验证明，我们的方法在质量和数量上优于现有的算法，并且公开可用数据集上的性能指标也显示了显著的改进。

    Aug, 2023

  • 超越夜间可见性：红外和可见光图像的自适应多尺度融合

    提出了一种自适应多尺度融合网络（AMFusion），通过红外和可见图像的融合规则，分别调整光照分布和提高检测准确性，从而实现针对夜晚物体检测的性能提升。

    Mar, 2024

  • 可见光与红外人员再识别的模态统一网络

    通过引入一个新的模态统一网络（MUN），本研究针对可见光 - 红外人员重识别（VI-ReID）中的大量跨模态差异和类内变异问题，通过动态建模模态特定和模态共享表示来提取判别特征表达，从而使所提出的方法在多个公共数据集上明显超过当前最先进的方法。

    Sep, 2023