Sep, 2022

DM$^2$S$^2$: 深度多模态序列集，具有分层模态关注

PDF
TL;DR该研究提出了一种新的多模态输入概念 —— 深度多模态序列集，其包括三个组件来捕捉多个模态之间的关系，并使用 BERT-based 全局编码器和残差注意力来提取重要特征，该模型的结果可解释性强，并且具有与先前 set-aware 模型相媲美或更好的性能。
multimodal datamid-fusion architecturedeep multimodal sequence setsbert-based encoderresidual attention
发现论文，激发创造
  • Seq2Seq2Sentiment: 多模态序列到序列模型用于情感分析

    本文提出了两种新的无监督联合多模态学习表示方法 ——Seq2Seq 模态翻译模型和分层 Seq2Seq 模态翻译模型，并通过 CMU-MOSI 数据集的多模态情感分析实验证明此方法优于基线模型在二模态情感分析方面的 F1 分值提升达 12 个百分点。

    Jul, 2018

  • 高效双层特征恢复多模态 Transformer 用于鲁棒性多模态情感分析

    本文提出了一种名为 EMT-DLFR 的通用且统一的框架，以解决当前多模态数据建模过程中的两个主要挑战：一是无法进行未对齐的多模态数据中的跨模态交互，而是存在随机模态特征缺失问题，此框架令多模态交互更加高效且应对缺失数据具有更强的鲁棒性。

    Aug, 2022

  • 稀疏多模态融合与模态通道注意力

    研究了当模态样本稀疏对齐时，掩蔽多模态变换器架构学习鲁棒嵌入空间的能力，并通过测量嵌入空间的质量作为模态稀疏的函数来验证。提出了一种扩展的掩蔽多模态变换器模型，它在多头注意机制中结合了模态不完整通道，称为模态通道注意（MCA）。使用两个数据集进行实验，分别为多模态情感识别的 CMU-MOSEI 和多组学的 TCGA。结果表明，在大多数样本中，模型能够学习到统一和对齐的嵌入空间，即使只有四个模态中的两个。结果还表明，即使没有模态稀疏，提出的 MCA 机制仍能提高生成嵌入空间的质量、召回指标以及下游任务的性能。

    Mar, 2024

  • 遥感数据融合的不完全多模态学习

    本文提出了一种新颖的不完整多模态学习模型，结合双向 LSTM 注意力和掩蔽自注意机制来收集多模态信号，利用重构和对比损失来促进预训练中的融合，能在处理数据不完整输入时达到当前最佳性能水平。

    Apr, 2023

  • 无监督图注意力自编码器用于带属性网络的 K 均值丢失

    利用最新的转换器和特征提取工具构建阿拉伯语多模态数据集，验证其在多模态学习中的效果，并展示阿拉伯语多模态研究的潜力。

    Nov, 2023

  • LILE: 使用 Transformer 的双重注意力网络进行组织病理学资料检索前深入查看

    提出了一种使用自注意力作为额外损失项的新架构，以在联合潜在空间中表示图像和文本；在 MS-COCO 和 ARCH 两个基准数据集上进行的实验结果表明，该方法具有很好的效果。

    Mar, 2022

  • 动态多模态融合

    本文提出了一种动态多模态融合的方法，可以在预测过程中根据数据的不同需求自适应地融合多模态数据，从而有效地减少计算成本，并在多个多模态任务上获得了良好的效果，这为动态多模态网络设计开辟了一条新的方向。

    Mar, 2022

  • 基于注意力机制的多模态数据顺序推荐系统

    提出了一种基于多模态数据的关注机制的序列推荐方法，该方法利用图像、文字和类别等多模态数据，利用 attention 操作和多任务学习损失，提高了推荐系统的性能。

    May, 2024

  • 跨语言语音情感识别：使用多模态双重注意力变换器

    本研究提出了一个利用基于多模态双重注意力变换器模型，结合图注意力与协同注意力，以提高跨语言情感识别性能，在 4 个公开数据集中获得了优秀表现的方法。该方法在高层次特征表示方面利用 Transformer 编码层来提高情感分类精度，并通过在各个阶段对特征表示进行细化以提供情感显著特征，既保留特定模态的情感信息又增强了跨模态和跨语言交互。

    Jun, 2023

  • 多模态学习框架：联合建模跨模态和同模态依赖关系

    通过提出的 I2M2 框架，我们捕捉并整合了模态间和模态内的依赖关系，从而实现了更精确的预测。在真实世界的医疗和视觉与语言数据集上，我们使用最先进的模型评估了我们的方法，并且表现出优于传统方法的性能，传统方法仅关注一种模态依赖。

    May, 2024