Aug, 2022

TFusion：基于 Transformer 的 N 到 One 多模态融合块

PDF
TL;DR本文提出了一种基于 transformer 的多模态融合块 TFusion，采用 tokens 和 transformer layers 自动学习融合可用多模态，引入 modal attention 机制减少依赖于特定模态，可用于多模态人体活动识别和脑肿瘤分割任务，并取得了更好的性能表现。
multimodal fusiontransformermodal attention mechanismhuman activity recognitionbrain tumor segmentation
发现论文，激发创造
  • 视觉 Transformer 的多模态 Token 融合

    本文提出了一个针对基于 Transformer 的视觉任务的多模态令牌融合方法（TokenFusion），可以在保持单模态 Transformer 结构基本不变的同时，学习多模态特征之间的相关性，并超越三个典型视觉任务中的最先进方法。

    Apr, 2022

  • 多模态融合中的注意力瓶颈

    本篇论文介绍了一种基于 transformer 的新颖架构，使用多层的融合瓶颈来进行多模态融合，实现了在多个音视频分类基准测试上的最新的结果，同时降低了计算成本。

    Jun, 2021

  • MMTM:CNN 融合的多模态转移模块

    本文提出了一种简单的神经网络模块，名为 Multimodal Transfer Module（MMTM），它能够在 CNN 特征层次结构的不同层级上进行慢速模态融合，利用多模态知识校准每个 CNN 流中的通道特征，用于特征模态融合的卷积层具有不同的空间尺寸。该方法具有最小的网络结构更改，可用于初始化每个分支的现有预训练权重，实验结果显示，我们的框架提高了知名多模态网络的识别准确性。

    Nov, 2019

  • 一次搞定 —— 用于视频检索的多模态融合 Transformer

    本文提出一种基于多模态、模态无关的融合变压器方法，通过交换多个模态之间的信息并将其整合成一个联合的多模态表示，从而获得聚合多模态时态信息的嵌入，可用于零 - shot 检索和分类。我们在 HowTo100M 数据集上训练模型，并在四个具有挑战性的基准数据集上评估结果，取得了零 - shot 视频检索和零 - shot 视频行动定位的最新成果。

    Dec, 2021

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019

  • FuseFormer: 用于视觉和热图像融合的 Transformer

    通过整合转换器模型的多尺度融合策略，本研究提出了一种新的图像融合方法，以克服使用评价指标作为损失函数所带来的局限性，并改善了整体方法的效果。

    Feb, 2024

  • 张量融合网络用于多模态情感分析

    本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。

    Jul, 2017

  • MultiFusion：预训练模型融合用于多语言，多模态图像生成

    本文提出了一种名为 MultiFusion 的方法，利用预训练模型将多个语言和多模态输入整合到单一的图像生成模块中，从而大幅提高了效率。实验证明，MultiFusion 可以将各个独立的组件整合起来，使图像生成模块能够利用来自各种语言和模态的输入。

    May, 2023

  • 多模态表示学习中早期融合的好处

    该篇论文通过创建卷积 LSTM 网络结构，研究了多模态表示学习中视听融合的早期处理，结果表明，在初始 C-LSTM 层中立即融合音频和视觉输入可以提高网络的性能，使其更能够抵抗白噪声的干扰。

    Nov, 2020

  • TransModality: 多模态情感分析的端到端 Transformer 融合方法

    通过提出一种基于 Transformer 的新型融合方法 TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。

    Sep, 2020