基于注意力卷积神经网络的语音情感识别：输入特征、信号长度和演讲语音影响的研究

Jun, 2017

基于注意力卷积神经网络的语音情感识别：输入特征、信号长度和演讲语音影响的研究

Attentive Convolutional Neural Network based Speech Emotion Recognition: A Study on the Impact of Input Features, Signal Length, and Acted Speech

PDF

Michael Neumann, Ngoc Thang Vu

TL;DR本文介绍了使用具有多视角学习目标函数的关注卷积神经网络进行语音情感识别的实验研究，对比了不同输入信号长度、不同类型的声学特征和不同类型的情感语音 (即兴 / 编剧) 对系统表现的影响，结果显示，除了输入特征选择外，模型的性能强烈依赖于语音数据类型，进一步实现了 IEMOCAP 上即兴语音数据的最优结果。

Abstract

speech emotion recognition is an important and challenging task in the realm of human-computer interaction. Prior work proposed a variety of models and feature sets for training a system. In this work, we conduct

speech emotion recognition human-computer interaction attentive convolutional neural network multi-view learning objective function state-of-the-art results

发现论文，激发创造

从原始语音进行语音情感的直接建模

本文提出了一种基于并行卷积层的方法，在特征提取单元中利用多个时间分辨率来共同训练 LSTM 分类神经网络。该方法可用于处理原始语音数据的情感识别任务，并可以达到使用手工制作特征训练 CNN 的性能水平。

Apr, 2019

用于语音和文本数据的多模态情感识别的卷积注意力网络

本文提出了一种使用卷积注意网络学习语音和文本数据之间隐藏表示的新方法，较之之前的表现更好，能更好地识别出 CMU-MOSEI 数据集中包含的来自语音和文本数据的情感。

May, 2018

用循环神经网络从语音中识别情感

本文提出了一种利用深度递归神经网络来识别语音情感的方法，通过对小语音时间间隔内计算的一系列声学特征进行训练，同时采用特殊的概率性 CTC 损失函数来考虑包含情感和中性部分的长语音片段，在与最近进展的比较和人类表现的对比中展示了该方法的高质量。

Jan, 2017

AHD ConvNet 语音情绪分类

本文提出了一种新的基于孪生网络的 mel 频谱学习方法，用于从 CREMA-D 数据集中的 wav 形式的语音记录中学习情感，所提出的模型使用对数 mel - 频谱图作为特征，mels 数量为 64，在情感语音识别的问题上，相对于其他方法，本方法所需的训练时间更短。

Jun, 2022

基于讲话者注意力的语音情感识别

本文提出了一种基于自训练机制以及 Self Speaker Attention 机制的情感识别方法，该方法在 Att-HAC 和 IEMOCAP 上实现了最新的性能表现。

Apr, 2021

使用高级音频和文本特征的多模态情感识别

本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

Sep, 2021

基于深度神经网络的端到端多模态情感识别

本研究提出了一种运用视觉和听觉模态的情感识别系统，其通过深度卷积神经网络提取语音特征，通过 50 层的深度残差网络提取视觉特征，并运用长短时记忆网络进行机器学习算法，通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测，明显优于传统的以听觉和视觉手工制作特征为基础的方法。

Apr, 2017

基于深度学习的情感识别数据增强技术比较研究

本文对情感识别中的流行深度学习方法进行了全面评估，发现语音信号中的长距离依赖对情感识别至关重要，而速率变换是获得最稳健性能提升的最佳数据扩增技术之一。

Nov, 2022

EmoDiarize：使用卷积神经网络从语音信号中进行说话人分离和情绪识别

在先进的人工智能和人机交互时代，识别口语中的情绪至关重要。本研究探讨了深度学习技术在语音情绪识别中的应用，提供了一个综合的解决方案，解决了说话人分离和情绪识别中的挑战。该研究引入了一个框架，将现有的说话人分离流程与基于卷积神经网络（CNN）构建的情绪识别模型相结合，以实现更高的准确性。所提出的模型经过五个语音情绪数据集的训练，包括 RAVDESS、CREMA-D、SAVEE、TESS 和电影片段。从每个样本中提取的特征包括梅尔频率倒谱系数（MFCC）、过零率（ZCR）、均方根（RMS）以及 pitch、noise、stretch 和 shift 等各种数据增强算法。这种特征提取方法旨在提高预测准确性同时降低计算复杂性。所提出的模型能够以 63% 的不加权准确率准确识别语音信号中的情绪状态，展示了出色的效率。

Oct, 2023

使用 CNN 的语音情感识别及其在数字化医疗中的应用案例

使用卷积神经网络（CNN) 对音频录音进行识别和情感标记，通过机器学习方法评估表情识别模型，并关注精确度、召回率和 F1 得分，以提高交流意图的识别能力。

Jun, 2024