Jul, 2022

基于 Wav2vec 2.0 和 BERT 的多模态情感识别的多级融合

PDF
TL;DR该研究探讨了多模态情感识别问题，提出了使用迁移学习的方法，结合各种预训练模型和多级融合方法，以及多粒度特征提取的框架，从而在 IEMOCAP 数据集上取得了比最佳基线法高 1.3％的性能表现。
multimodal emotion recognitiontransfer learningcoattention-based early fusionlate fusionmulti-granularity framework
发现论文，激发创造
  • 利用辅助任务在 Wav2vec 2.0 和 BERT 的多模态融合中进行多模态情感识别

    这篇研究通过在两种模态数据上使用预训练模型进行微调，使用 K 层多头注意机制进行下游融合，设计两种辅助任务以提高情感识别的表现，相比其他最先进的模型在 IEMOCAP 数据集上实现了更好的性能。

    Feb, 2023

  • 使用 Wav2vec 2.0 嵌入进行语音情感识别

    本文提出一种基于迁移学习的语音情感识别方法，将从预训练的 wav2vec 2.0 模型中提取的特征使用简单的神经网络模型进行建模，并使用可训练的权重从多层模型中组合输出，在 IEMOCAP 和 RAVDESS 两个情感数据库上的评价表明，在情感识别性能上优于现有文献中的结果。

    Apr, 2021

  • 多模态情感识别的多级 Transformer

    本文提出一种新的多层次转换器模型，将细粒度表示和预训练的话语级别表示相结合，结合不同的方法将音素级别嵌入与单词级别嵌入相结合，从而进行细粒度的多模式情感识别，最终在 IEMOCAP 数据集上，我们的模型均优于之前的最优方法。

    Oct, 2022

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 情感模仿预测的单模态多任务融合

    通过利用 Wav2Vec 2.0 框架进行语言和语音特征提取，以及 LSTM 架构对音频数据进行时序分析，本研究提出了一种在情感行为分析竞赛中对情感模仿强度进行估计的方法，取得了显著的改进。

    Mar, 2024

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • 探索应用于紧急呼叫中心语料库的多模态情感识别的注意力机制

    本文探讨了基于 CEMO 数据集的语音和文本预训练模型在情感识别上的融合策略，研究表明基于多模态融合的交叉关注机制实现了更好的表现。同时，实验也表明在 CEMO 上，音频编码包含的情感信息比文本更为丰富。

    Jun, 2023

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • 使用视觉、音频和文本特征进行多模态话语级情感分析

    本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

    May, 2018

  • 融合声学和基于文本特征的情感识别的方法

    使用声学和文本特征，研究通过不同方法对语言情感进行分类的研究。使用 BERT 获取情感转录中所包含信息的上下文化词嵌入，相比使用 Glove 嵌入，结果表明表现更好。我们还提出并比较不同的音频和文本模式结合策略，并在 IEMOCAP 和 MSP-PODCAST 数据集上进行评估。我们发现，在这两个数据集上，融合声学和文本系统是有益的，尽管在评估的融合方法中只观察到微小的差异。最后，对于 IEMOCAP 数据集，我们展示了用于定义交叉验证折叠的标准方法对结果的巨大影响。特别是，为该数据集创建折叠的标准方法导致对于文本系统的性能高度乐观的估计，这表明一些先前的作品可能夸大了结合转录的优势。

    Mar, 2024