CDDFuse:基于相关性驱动的双分支特征分解用于多模态图像融合

Nov, 2022

CDDFuse:基于相关性驱动的双分支特征分解用于多模态图像融合

CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion

Zixiang Zhao, Haowen Bai, Jiangshe Zhang, Yulun Zhang, Shuang Xu...

TL;DR提出一种基于相关驱动特征分解融合网络的多模态图像融合方法，通过利用Restormer块提取跨模态浅层特征；采用双分支Transformer-CNN特征提取器，使用Lite Transformer块处理低频全局特征和INN块处理高频局部信息;提出相关驱动损失，在保留融合优势的同时使低频特征相关，高频特征不相关;输出融合图像。在红外-可见图像融合和医学图像融合等多个任务中，该方法均取得了良好的结果，并在红外-可见语义分割和目标检测中提升了性能。

Abstract

Multi-modality (MM) image fusion aims to render fused images that maintain the merits of different modalities, e.g., functional highlight and detailed textures. To tackle the challenge in modeling cross-modality features and decomposing desirable modality-specific and modality-shared features, we propose a novel →

发现论文，激发创造

AdaFuse：基于空间频率交叉注意力的自适应医学图像融合

通过频率引导的注意力机制，交叉注意力融合和损失函数来实现多模式医学图像融合，提高融合图像的质量和保留细节。

Oct, 2023

红外和可见光图像融合的多尺度信息融合框架

我们提出了一种多尺度双注意(MDA)框架，用于红外和可见光图像融合，在图像和块级别测量和整合互补信息，并通过损失函数在结构和特征级别进行融合。

Dec, 2023

从文本到像素：一种针对红外和可见光图像融合的上下文感知语义协同解决方案

本研究提出了一种基于文本引导的多模态图像融合方法，利用文本描述的高级语义结合红外和可见光图像的语义信息，为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达，并通过双层优化策略同时优化融合和检测问题，本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。

Dec, 2023

TSJNet：多模态目标与语义感知联合驱动的图像融合网络

提出了一种名为TSJNet的目标和语义感知联合驱动融合网络，通过将融合、检测和分割子网络按顺序结构排列，利用来自双重高级任务的目标和语义相关信息来指导融合网络。同时，还提出了一种具有双并行分支结构的局部显著特征提取模块，充分捕捉跨模态图像的细粒度特征，促进模态之间、目标和分割信息的相互交互。在四个公开数据集上进行了大量实验证明，TSJNet能够生成视觉上令人满意的融合结果，分别相较于现有最先进方法，在目标检测和分割的[email protected]和mIoU上平均提升了2.84%和7.47%。

Feb, 2024

MambaDFuse: 利用Mamba构建的双阶段多模态图像融合模型

提出了一种基于Mamba的双相融合模型(MambaDFuse)，用于解决现有方法在多模态图像融合任务中提取特征和融合特征的效率问题，通过设计双级特征提取器和双相特征融合模块，实现了具有良好融合结果的图像重建，并在红外-可见光图像融合和医学图像融合等任务中取得了显著的性能提升。

Apr, 2024

MMA-UNet：红外和可见光图像融合的多模态非对称UNet架构

本研究提出了一种多模态非对称UNet（MMA-UNet）的方法，通过为不同模态分别训练专门的特征编码器和实施交叉尺度融合策略，在相同的表示空间中保持不同模态的特征，从而实现了可视化自然且语义丰富的红外和可见光图像信息融合。该方法在融合效率上优于现有的对比融合方法。

Apr, 2024

CDeFuse: 红外与可见光图像融合的连续分解

提出了一种新颖的连续分解融合(CDeFuse)机制，通过多尺度相似性约束将原始的三部分分解扩展为更一般的K部分分解，并引入连续分解模块(CDM)以捕捉模态之间的互补信息，并通过一种新颖的分解损失函数和相应的计算优化策略，实现对分解过程的平滑进行。与之前的方法相比，CDeFuse取得了可比较的性能。

Jun, 2024

基于局部到全局的跨模态注意力融合方法用于HSI-X语义分割

本研究提出了一种用于高光谱图像和X模态图像分类的Local-to-Global Cross-modal Attention-aware Fusion (LoGoCAF)框架，通过像素级的两分支语义分割架构从两种模态中学习信息并进行特征融合和预测，实现了优秀的性能和普适性。

Jun, 2024

红外-可见光图像融合的语义感知和多导向网络

通过建模相关性驱动分解特征和推理高级图表示以高效地提取互补特征和多引导特征聚合，本论文提出了一个三分支编码器-解码器体系结构以及相应的融合层作为融合策略，用于多模态图像融合，并介绍了图推理模块以推理高级跨模态关系和同时从CAI的特定模态补充信息中提取低级细节特征。实验证明，我们的方法在可见/红外图像融合和医学图像融合任务中取得了与最先进方法相媲美的结果，并且在后续任务中超过了其他融合方法，平均得分在物体检测方面高出9.78％ [email protected]，语义分割方面高出6.46％ mIoU。

Jun, 2024

DAF-Net：一种双分支特征分解融合网络，具有领域自适应，用于红外和可见光图像融合

本研究解决了红外和可见光图像融合中的关键特征保留问题，提出了一种双分支特征分解融合网络（DAF-Net）及其领域自适应方法。通过引入多核最大均值差异（MK-MMD）和设计混合核函数，DAF-Net有效对齐了红外和可见光图像的潜在特征空间，显著提升了融合图像的质量和性能。

Sep, 2024