本文提出了一种有效的编码器-解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

Dec, 2019

提出一种基于相关驱动特征分解融合网络的多模态图像融合方法，通过利用Restormer块提取跨模态浅层特征；采用双分支Transformer-CNN特征提取器，使用Lite Transformer块处理低频全局特征和INN块处理高频局部信息;提出相关驱动损失，在保留融合优势的同时使低频特征相关，高频特征不相关;输出融合图像。在红外-可见图像融合和医学图像融合等多个任务中，该方法均取得了良好的结果，并在红外-可见语义分割和目标检测中提升了性能。

Nov, 2022

提出了一种基于交叉模式的互动图神经网络（GNN）的架构，称为IGNet，用于红外和可见光图像融合，通过构建图结构实现了不同模态之间的互动学习，从而提高融合图像的表达和下游任务的性能。

Aug, 2023

通过使用图卷积网络（GCNs）提取非局部自相似性（NLss），本论文探索了红外和可见图像融合的关键问题，并实现了级联的NLss提取模式来提取多种模式下的NLss，并在三个数据集上的大量实验中证明了该方法的有效性和优越性。

Nov, 2023

本研究提出了一种基于文本引导的多模态图像融合方法，利用文本描述的高级语义结合红外和可见光图像的语义信息，为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达，并通过双层优化策略同时优化融合和检测问题，本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。

Dec, 2023

提出了一种名为TSJNet的目标和语义感知联合驱动融合网络，通过将融合、检测和分割子网络按顺序结构排列，利用来自双重高级任务的目标和语义相关信息来指导融合网络。同时，还提出了一种具有双并行分支结构的局部显著特征提取模块，充分捕捉跨模态图像的细粒度特征，促进模态之间、目标和分割信息的相互交互。在四个公开数据集上进行了大量实验证明，TSJNet能够生成视觉上令人满意的融合结果，分别相较于现有最先进方法，在目标检测和分割的[email protected]和mIoU上平均提升了2.84%和7.47%。

Feb, 2024

本研究提出了一种多模态非对称UNet（MMA-UNet）的方法，通过为不同模态分别训练专门的特征编码器和实施交叉尺度融合策略，在相同的表示空间中保持不同模态的特征，从而实现了可视化自然且语义丰富的红外和可见光图像信息融合。该方法在融合效率上优于现有的对比融合方法。

Apr, 2024

本研究提出了一种用于高光谱图像和X模态图像分类的Local-to-Global Cross-modal Attention-aware Fusion (LoGoCAF)框架，通过像素级的两分支语义分割架构从两种模态中学习信息并进行特征融合和预测，实现了优秀的性能和普适性。

Jun, 2024

通过语义和几何域转换，提出了一种高级视觉任务驱动的红外与可见光图像融合网络，能够显著促进语义和几何信息的集成并进一步减小领域差距，同时通过比较实验证明了该方法在视觉吸引力和语义分割任务方面超过其他现有方法。

Jul, 2024

本研究解决了当前红外和可见光双模态任务中框架通用性不足的问题。提出的IVGF框架通过结合最先进的基础模型、特征增强模块和注意力引导融合模块，显著提升了多任务的性能。实验表明，IVGF在语义分割和目标检测任务中超过了现有的双模态方法，展示了其广泛的应用潜力。

Sep, 2024