Jan, 2022

基于双向注意力对多模态情感识别的群门融合

PDF
TL;DR本文提出了一种新的模型 —— 门控双向对齐网络（GBAN），该模型利用注意力机制的双向对齐网络和一种新颖的分组门控融合层来明确捕捉语音和文本之间的对齐关系，并在不同模态中集成表示，从而在 IEMOCAP 数据集上优于现有的最先进的多模态方法。
emotion recognitionmultimodalgated bidirectional alignment networklstmattention-based
发现论文，激发创造
  • 多模态情感分析中的词级融合和强化学习

    开发了一种新颖的深度结构 Gated Multimodal Embedding LSTM with Temporal Attention (GME-LSTM (A)) 模型，以单词级别进行多模态情感分析。在公开数据集 CMU-MOSI 上表现 State-of-the-art 的情感分类和回归结果，强调了 Temporal Attention Layer 在情感预测中的重要性和 Gated Multimodal Embedding 对于过滤有噪音的多模态的有效性。

    Feb, 2018

  • 基于知识感知的多模态情感识别贝叶斯共同关注

    该研究提出了使用贝叶斯注意力模块（BAM）来增强来自不同模态的预先训练模型的协同注意力融合，以有效融入外部情感相关知识以学习情感相关知识，实验证明该方法能够超过最先进方法至少 0.7 个百分点的准确度。

    Feb, 2023

  • 跨模态门控注意力融合用于多模态情感分析

    提出了 CMGA，即跨模态门控注意力融合模型，用于多模态情感分析，证明其在 MOSI 和 MOSEI 两个基准数据集上具有优异的性能，并展示了模型内不同组件的作用。

    Aug, 2022

  • 多模态条件注意力融合在情感维度预测中的应用

    该研究提出了一种名为条件注意融合的新型多模态融合策略，将长短期记忆循环神经网络应用为基础单模态模型，自动决定分配给不同情感模态的权重，获得了在情感价值预测方面优于多种常见融合策略的实验结果。

    Sep, 2017

  • 用于语音和文本数据的多模态情感识别的卷积注意力网络

    本文提出了一种使用卷积注意网络学习语音和文本数据之间隐藏表示的新方法，较之之前的表现更好，能更好地识别出 CMU-MOSEI 数据集中包含的来自语音和文本数据的情感。

    May, 2018

  • 基于 Wav2vec 2.0 和 BERT 的多模态情感识别的多级融合

    该研究探讨了多模态情感识别问题，提出了使用迁移学习的方法，结合各种预训练模型和多级融合方法，以及多粒度特征提取的框架，从而在 IEMOCAP 数据集上取得了比最佳基线法高 1.3％的性能表现。

    Jul, 2022

  • 基于注意力机制的多模态情感识别融合

    本论文提出了一种基于深度学习的方法，结合了文本和音频数据进行情绪分类，使用 SincNet 层提取音频特征，同时使用双向 RNN 和深度卷积神经网络提取文本特征，通过交叉注意力机制融合两种特征，在 IEMOCAP 数据集上取得了比现有方法更好的性能。

    Sep, 2020

  • 多通道注意力图卷积神经网络结合情感融合进行多模态情感分析

    本文介绍了一个基于多通道注意力图卷积网络（MAGCN）的多模态情感分析框架，它将情感知识融合到跨模态交互学习中，并在多个数据集上实现了竞争性表现。

    Jan, 2022

  • 使用多跳注意力机制的语音情感识别

    该论文提出了一种利用音频和文本信息的语音情感分类方法，使用双向 LSTM 和多跳注意力机制，在 IEMOCAP 数据集上，相对于现有技术，其在加权准确率上提高了 6.5% 的性能。

    Apr, 2019

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020