基于局部到全局的跨模态注意力融合方法用于 HSI-X 语义分割

Jun, 2024

基于局部到全局的跨模态注意力融合方法用于 HSI-X 语义分割

Local-to-Global Cross-Modal Attention-Aware Fusion for HSI-X Semantic Segmentation

Xuming Zhang, Naoto Yokoya, Xingfa Gu, Qingjiu Tian, Lorenzo Bruzzone

TL;DR本研究提出了一种用于高光谱图像和 X 模态图像分类的 Local-to-Global Cross-modal Attention-aware Fusion (LoGoCAF) 框架，通过像素级的两分支语义分割架构从两种模态中学习信息并进行特征融合和预测，实现了优秀的性能和普适性。

Abstract

Hyperspectral image (HSI) classification has recently reached its performance bottleneck. multimodal data fusion is emerging as a promising approach to overcome this bottleneck by providing rich complementary information from the supplementary modality (X-modality). However, achieving

hyperspectral image classification multimodal data fusion cross-modal attention local-to-global fusion feature enhancement

发现论文，激发创造

通过互联融合进行多模式高光谱图像分类

介绍了一种新的 “互连融合” 框架用于超光谱图像和激光雷达数据的特征融合，包括从多个视角中利用 HIS-LiDAR 信号的上下文信息和内部特征，可以提高分类准确性。

Apr, 2023

ICAFusion: 迭代交叉注意力引导特征融合用于多光谱目标检测

利用双交叉注意力变换器提出了一种新的特征融合框架，以同时建模全局特征交互并捕捉多模态之间的互补信息，从而提高物体特征的区分能力，并通过迭代交互机制在减少模型复杂性和计算成本的同时保证了较快的推理速度。

Aug, 2023

AdaFuse：基于空间频率交叉注意力的自适应医学图像融合

通过频率引导的注意力机制，交叉注意力融合和损失函数来实现多模式医学图像融合，提高融合图像的质量和保留细节。

Oct, 2023

一种新的 CNN-Transformer 方法中基于门控 - 移位 - 融合机制的高光谱图像分类增强

本文介绍了一种包括两个卷积块、一个 Gate-Shift-Fuse（GSF）块和一个 transformer 块的高光谱图像分类模型，通过在局部特征提取方面利用 CNN 的优势以及在远程上下文建模方面利用 transformer 的优势，该模型提供了对高层语义特征的提取能力。同时，提出了一个强化局部和全局空间 - 光谱特征提取的 GSF 块以及一个有效的注意力机制模块，该方法在四个知名数据集上进行了评估，包括 Indian Pines、Pavia University、WHU-WHU-Hi-LongKou 和 WHU-Hi-HanChuan，结果表明该框架相较于其他模型具有更好的效果。

Jun, 2024

通过挖掘跨模态语义实现目标分割

利用跨模态语义指导多模态特征的融合和解码，提出了一种新的方法以控制相对熵，具有共享和特定的表示法以及跨层自我监督，并基于质量适应模态贡献的 all-round attentive fusion 和 course-to-fine decoder 两部分解码器，提高特征可辨别性和系统的表现。

May, 2023

观看、倾听和描述：全局和局部对齐的跨模态关注力用于视频字幕生成

提出了一种新的分层对齐交叉模态注意力 (HACA) 框架来学习和选择性地融合不同模态的全局和本地时间动态，在视频字幕任务中，首次验证了深度音频特征的卓越性能，该模型显著优于先前最佳系统并在广泛使用的 MSR-VTT 数据集上实现了新的最新成果。

Apr, 2018

基于 Transformer 的异质显著图表示学习用于高光谱和 LiDAR 数据的多模态融合分类

通过结合多模态图像，本文提出了一种基于 Transformer 的异质显著图形表示（THSGR）方法，以实现更加细致、准确的地表覆盖解释，并且在多个基准数据集上展示了该方法的性能。

Nov, 2023

多尺度自适应融合网络用于高光谱图像去噪

本文提出了一种名为 MAFNet 的多尺度自适应融合网络用于去噪高光谱图像，该网络由逐步扩展的多尺度信息聚合网络和协同注意力融合模块组成，可以有效保留丰富的光谱结构并取得比其他技术更好的去噪性能，论文代码可供参考。

Apr, 2023

2D 物体检测的多任务跨模态注意力融合

提出两种新的雷达预处理技术，并引入了多任务跨模态注意融合网络（MCAF-Net）来进行目标检测，相对于现有的基于雷达和相机融合的目标检测算法具有更强的鲁棒性，特别是在恶劣的天气条件和夜间场景下。

Jul, 2023

交叉注意力不足：不协调感知的多模态情感分析和情绪识别

通过层级交叉模态变压器与模态门控的轻量级模型，本文在情感和情绪分析领域，解决了多模态数据融合存在的潜在问题，提出了一种确定主要模态并逐层整合辅助模态的方法，发现了交叉模态关注中的跨模态不一致性并在三个基准数据集上验证了该方法的有效性，并使模型参数数量减少到不到 100 万个，同时表现出具有竞争力的结果。

May, 2023