Jun, 2024

一个用于双模态情感分类的简单基于注意力机制

PDF
TL;DR在本文中，我们提出了基于双模态深度学习结构和注意力机制的情感分类方法，使用文本和语音数据进行训练和测试，并报告了不同结构的详细细节和性能分析结果。研究结果表明，使用不同类型数据（文本和语音）训练的深度学习结构优于仅使用文本或语音训练的结构，并且我们提出的基于注意力机制的双模态结构在情感分类中优于现有的系统。
big datamachine learningemotion classificationbimodal deep learningattention mechanism
发现论文，激发创造
  • 用于语音和文本数据的多模态情感识别的卷积注意力网络

    本文提出了一种使用卷积注意网络学习语音和文本数据之间隐藏表示的新方法，较之之前的表现更好，能更好地识别出 CMU-MOSEI 数据集中包含的来自语音和文本数据的情感。

    May, 2018

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 使用多跳注意力机制的语音情感识别

    该论文提出了一种利用音频和文本信息的语音情感分类方法，使用双向 LSTM 和多跳注意力机制，在 IEMOCAP 数据集上，相对于现有技术，其在加权准确率上提高了 6.5% 的性能。

    Apr, 2019

  • 基于语音的多模态情感识别中的学习对齐

    本文提出使用注意力机制学习语音帧和文本单词之间的对齐方法，以提高音频 - 文本多模态情感识别的准确性，并在 IEMOCAP 数据集上取得了最先进的性能。

    Sep, 2019

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018

  • 基于注意力机制的多模态情感识别融合

    本论文提出了一种基于深度学习的方法，结合了文本和音频数据进行情绪分类，使用 SincNet 层提取音频特征，同时使用双向 RNN 和深度卷积神经网络提取文本特征，通过交叉注意力机制融合两种特征，在 IEMOCAP 数据集上取得了比现有方法更好的性能。

    Sep, 2020

  • 多模态语音情感识别和歧义解析

    本研究采用基于特征工程的方法来解决语音情感识别的问题，并通过提取八个手工特征，将问题形式化为多分类问题。通过比较传统机器学习分类器和深度学习模型的表现，我们表明轻量级的基于机器学习的模型在使用少量手工特征时能够实现与当前的深度学习方法相媲美的性能。

    Apr, 2019

  • 利用分层注意策略和词级对齐的多模态情感分析

    本文研究了从多个数据来源中学习识别和解释人类情感和主观信息的多模态情感计算问题，提出了一种基于 attention 机制和单词级融合的分层多模态体系结构，以从文本和音频数据中分类识别发言级别的情感和情绪。结果表明，该模型在现有数据集上表现优异。

    May, 2018

  • 利用语音和文本的多模态语音情感识别

    本文提出了一种深度双重循环编码器模型，利用语音和文本数据进行机器情感识别，该模型表现更优，实验结果显示，当将该模型应用于 IEMOCAP 数据集时，在将数据分配到四个情感类别（愤怒，高兴，悲伤和中性）方面，准确率在 68.8％至 71.8％之间。

    Oct, 2018

  • 基于深度学习的情感识别数据增强技术比较研究

    本文对情感识别中的流行深度学习方法进行了全面评估，发现语音信号中的长距离依赖对情感识别至关重要，而速率变换是获得最稳健性能提升的最佳数据扩增技术之一。

    Nov, 2022