GeminiFusion: 高效按像素多模态融合的视觉 Transformer

Jun, 2024

GeminiFusion: 高效按像素多模态融合的视觉 Transformer

GeminiFusion: Efficient Pixel-wise Multimodal Fusion for Vision Transformer

Ding Jia, Jianyuan Guo, Kai Han, Han Wu, Chao Zhang...

TL;DR跨模态变换器已经在不同的视觉任务中展示了优越性能，本文提出了一种像素级融合方法 GeminiFusion，它通过融合模态内部关注和模态间关注，动态地整合跨模态的互补信息，同时通过层自适应噪声实现了协调的融合过程，该方法在多模态图像转换、三维物体检测和任意模态的语义分割任务中表现出优秀的性能。

Abstract

cross-modal transformers have demonstrated superiority in various vision tasks by effectively integrating different modalities. This paper first critiques prior token exchange methods which replace less informative tokens with inter-modal features, and demonstrate exchange based method

cross-modal transformers geminifusion pixel-wise fusion inter-modal attentions multimodal image-to-image translation

发现论文，激发创造

视觉 Transformer 的多模态 Token 融合

本文提出了一个针对基于 Transformer 的视觉任务的多模态令牌融合方法（TokenFusion），可以在保持单模态 Transformer 结构基本不变的同时，学习多模态特征之间的相关性，并超越三个典型视觉任务中的最先进方法。

Apr, 2022

TFusion：基于 Transformer 的 N 到 One 多模态融合块

本文提出了一种基于 transformer 的多模态融合块 TFusion，采用 tokens 和 transformer layers 自动学习融合可用多模态，引入 modal attention 机制减少依赖于特定模态，可用于多模态人体活动识别和脑肿瘤分割任务，并取得了更好的性能表现。

Aug, 2022

在单个 GPU 上的数据有效多模态融合

FuseMix 是一种多模态增强方案，在任意预训练的单模态编码器的潜空间上操作，通过使用 FuseMix 进行多模态对齐，我们以远低于 CLIP 的计算和数据成本，在图像 - 文本和音频 - 文本检索任务中实现具有竞争力的性能。

Dec, 2023

ICAFusion: 迭代交叉注意力引导特征融合用于多光谱目标检测

利用双交叉注意力变换器提出了一种新的特征融合框架，以同时建模全局特征交互并捕捉多模态之间的互补信息，从而提高物体特征的区分能力，并通过迭代交互机制在减少模型复杂性和计算成本的同时保证了较快的推理速度。

Aug, 2023

基于 Transformer 的 RGB-T 跟踪及通道和空间特征融合

RGB-T 跟踪中，如何更好地融合跨模态特征是核心问题。本文利用直接融合跨模态通道与空间特征的方法，提出了 CSTNet，使用 ViT 作为主干，并插入了跨模态通道特征融合模块和跨模态空间特征融合模块，实现了 RGB 和 TIR 特征的直接交互。通过综合实验，CSTNet 在三个公共 RGB-T 跟踪基准上取得了最好的性能。

May, 2024

基于交换的多模态融合和转换器

本研究探讨多模态融合的问题，提出一种基于 Transformer 的新型文本 - 图像融合模型 MuSE，并通过 CrossTransformer 在多模态之间交换知识。在 Multimodal Named Entity Recognition 和 Multimodal Sentiment Analysis 任务中，MuSE 显示出更优越的性能。

Sep, 2023

MultiFusion：预训练模型融合用于多语言，多模态图像生成

本文提出了一种名为 MultiFusion 的方法，利用预训练模型将多个语言和多模态输入整合到单一的图像生成模块中，从而大幅提高了效率。实验证明，MultiFusion 可以将各个独立的组件整合起来，使图像生成模块能够利用来自各种语言和模态的输入。

May, 2023

从文本到像素：一种针对红外和可见光图像融合的上下文感知语义协同解决方案

本研究提出了一种基于文本引导的多模态图像融合方法，利用文本描述的高级语义结合红外和可见光图像的语义信息，为目标检测任务提供了更准确和鲁棒的结果。通过使用代码本来增强对融合动态的简明直观表达，并通过双层优化策略同时优化融合和检测问题，本研究取得了与现有方法相比更高的检测平均精度和视觉上优越的融合结果。

Dec, 2023

跨模态视觉转换器的交互式图像分割

本研究提出一种交互式图像分割网络，利用跨模态视觉 transformers 来更好地指导学习过程，并且在多个基准测试中实现了优越的性能表现，具有实用的注释工具潜力。

Jul, 2023

CrossFuse：一种基于交叉注意力机制的红外和可见光图像融合新方法

提出了一种新颖的跨模态注意机制（CAM）来增强互补信息，并提出了基于两阶段训练策略的融合方案，实验结果表明我们提出的融合方法在融合网络中获得了 SOTA 级别的性能。

Jun, 2024