ACLJul, 2020

基于低秩融合的多模态序列变换器

PDF
TL;DR通过对感官信号和情感意图进行建模并使用多种传感器信号进行低秩多模态融合和转换，我们提出了基于 transformer 的跨模态融合架构，该架构允许表示近似的乘性潜在信号交互，并且具有更少的模型参数、更快的训练速度和与其他大型融合模型相当的情感识别性能。
sensory signalsemotional intentionslatent signal interactionsmultimodal fusiontransformer-based cross-fusion
发现论文，激发创造
  • 多模态低秩融合与模态特定因子的高效实现

    本文介绍了一种使用低秩张量完成多模态数据融合的新方法，并在多模态情感分析、演讲者特征和情感识别等多个任务中取得了有竞争力的结果且极大地减少了计算复杂度。

    May, 2018

  • 利用 Transformer 的调制融合进行语言 - 声学情感识别

    本文提出了基于 Transformer 和调制的两种极具轻量性能却强大的情感识别和情感分析解决方案，通过组合大量数据集的语言和语音输入来挑战、有时甚至超越这一领域的现有技术，并在 IEMOCAP、MOSI、MOSEI 和 MELD 数据集上评估和验证其性能。

    Oct, 2020

  • 多模态条件注意力融合在情感维度预测中的应用

    该研究提出了一种名为条件注意融合的新型多模态融合策略，将长短期记忆循环神经网络应用为基础单模态模型，自动决定分配给不同情感模态的权重，获得了在情感价值预测方面优于多种常见融合策略的实验结果。

    Sep, 2017

  • 张量融合网络用于多模态情感分析

    本文介绍了一种名为 Tensor Fusion Network 的新型模型，它通过学习语音、手势等多种动态因素，实现了对在线视频中语言、手势等多种情感信息的判断，同时还优于现有的多模态和单一模态情感分析方法。

    Jul, 2017

  • TransModality: 多模态情感分析的端到端 Transformer 融合方法

    通过提出一种基于 Transformer 的新型融合方法 TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。

    Sep, 2020

  • 基于低秩匹配注意力的跨模态特征融合对话情感识别方法

    这篇论文提出了一种名为低秩匹配注意力方法的跨模态特征融合方法，可用于会话情感识别任务，并能够充分利用模态间的语义信息和模态内语境信息。实验证实该方法在诸多基准数据集上的表现均优于其他流行的跨模态融合方法。

    Jun, 2023

  • 基于模态因子分解的多模态融合

    提出了一种新的理解和调节多模推理任务中每种模态相对贡献的技术 —— 基于模态减少冗余的融合（MRRF）方法，并应用它于情感分析、人格特征识别和情感识别等多个数据集上，取得了比现有技术相比 1% 至 4% 的改善效果。

    Nov, 2018

  • 视觉 Transformer 的多模态 Token 融合

    本文提出了一个针对基于 Transformer 的视觉任务的多模态令牌融合方法（TokenFusion），可以在保持单模态 Transformer 结构基本不变的同时，学习多模态特征之间的相关性，并超越三个典型视觉任务中的最先进方法。

    Apr, 2022

  • 遥感数据融合的不完全多模态学习

    本文提出了一种新颖的不完整多模态学习模型，结合双向 LSTM 注意力和掩蔽自注意机制来收集多模态信号，利用重构和对比损失来促进预训练中的融合，能在处理数据不完整输入时达到当前最佳性能水平。

    Apr, 2023

  • 情感和情绪分类的多模态关系张量网络

    本文介绍一种基于 Relational Tensor Network 架构并运用丰富的音频和语言上下文以及细粒度的文本情感极性得分融合方法来模拟视频中不同模态之间交互的方法，并在 CMU-MOSEI 数据集上表现出优越的情感分类和情感识别结果。

    Jun, 2018