利用中心损失和重建作为正则化器学习区分特征的语音情感识别
该研究通过对 Mel 谱图的谐波和打击性组成部分进行分析,提出了一个新的架构,包括特征映射生成器算法、基于 CNN 的网络特征提取器和多层感知器(MLP)分类器,研究有效的数据增强技术建立了丰富的混合特征映射,最终在 Berlin EMO-DB 数据库上取得了 92.79% 的测试准确率,结果优于之前使用 CNN-VGG16 的研究。
Dec, 2023
本文提出了一种基于并行卷积层的方法,在特征提取单元中利用多个时间分辨率来共同训练 LSTM 分类神经网络。该方法可用于处理原始语音数据的情感识别任务,并可以达到使用手工制作特征训练 CNN 的性能水平。
Apr, 2019
在先进的人工智能和人机交互时代,识别口语中的情绪至关重要。本研究探讨了深度学习技术在语音情绪识别中的应用,提供了一个综合的解决方案,解决了说话人分离和情绪识别中的挑战。该研究引入了一个框架,将现有的说话人分离流程与基于卷积神经网络(CNN)构建的情绪识别模型相结合,以实现更高的准确性。所提出的模型经过五个语音情绪数据集的训练,包括 RAVDESS、CREMA-D、SAVEE、TESS 和电影片段。从每个样本中提取的特征包括梅尔频率倒谱系数(MFCC)、过零率(ZCR)、均方根(RMS)以及 pitch、noise、stretch 和 shift 等各种数据增强算法。这种特征提取方法旨在提高预测准确性同时降低计算复杂性。所提出的模型能够以 63% 的不加权准确率准确识别语音信号中的情绪状态,展示了出色的效率。
Oct, 2023
本文提出了一种基于卷积神经网络和长短记忆网络的深度学习架构,通过使用可转移的特征从多个源域自适应模型并识别不同情感领域的语音情感,实验结果表明,该方法提供了 4.3%至 18.4%的效果增益。
Dec, 2019
提出了一种新的双层模型,通过使用来自原始音频信号的 MFCC 特征和 mel-spectrograms 预测情感,其中一个标准 LSTM 处理 MFCC 特征,而一个新的双序列 LSTM 架构同时处理两个 mel-spectrograms,最终将输出平均,实现了在情感识别中的 6% 的提高。
Oct, 2019
本研究提出了一种运用视觉和听觉模态的情感识别系统,其通过深度卷积神经网络提取语音特征,通过 50 层的深度残差网络提取视觉特征,并运用长短时记忆网络进行机器学习算法,通过对 AVEC 2016 情感识别研究挑战的 RECOLA 数据库的自发和自然情绪的预测,明显优于传统的以听觉和视觉手工制作特征为基础的方法。
Apr, 2017
本研究运用自注意力机制与标签自适应 mixup 及中心损失相结合的方法,提高了自然交互场景下的语音情感识别表现,超过了现有技术的最佳表现。
May, 2023
通过直接利用六个不同数据集的原始音频文件进行训练,本研究提出了一种模型用于识别情感,没有进行特征提取阶段。该模型通过支持向量机、决策树、朴素贝叶斯、随机森林等机器学习算法,以及集成学习和深度学习技术进行评估,并与现有的方法进行比较。实验证明,使用原始音频文件的 CNN 模型在 TESS+RAVDESS 数据集上取得了 95.86% 的准确率,从而成为了新的最先进方法。在说话人无关的音频分类问题中,该模型在 EMO-DB,RAVDESS,TESS 和 SAVEE 数据集上分别取得了 90.34%,90.42%,99.48% 和 85.76% 的准确率。
Jul, 2023
本文针对会话中情绪识别的复杂性,提出了一种利用双向门控循环神经网络捕捉上下文相关性和说话人之间相互作用的对话情感识别方法。实验结果表明该方法比现有的最先进方法更为有效。
Feb, 2023
本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法,该方法融合了文字和语音特征,并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。
Sep, 2021