构建了第一个包含多视角信息的中文多模态情感病理性言语数据库，标记了 29 个对照组和 39 个不同程度运动性言语障碍患者表达快乐、悲伤、愤怒和中性情绪的情感言语，并通过精确度、言语可懂性、价值 - 唤醒空间分布和 SCL-90 与疾病严重程度之间的相关性等主观分析来验证其有效性。在语音和声门数据上进行的自动识别表明，对于对照组的音频，平均准确率为 78%，对于患者为 60%；对于声门数据，对照组为 51%，患者为 38%，表明疾病对情感表达的影响。

Dec, 2023

本文介绍了一种情感语音数据库，涵盖男性和女性以及法语男性等不同语音。该数据库可以用于合成和生成语音，并且可以控制情感维度。通过建立一个简单的 MLP 系统，我们可以将中性语音转换为愤怒语音风格，并通过 CMOS 感知测试评估其效率，结果表明该系统的效率非常高，这为未来工作打下了良好的基础。

Jun, 2018

本篇论文提供了包括 9,724 个样本的情感语音数据集，并提出了一种名为 EMSpeech 的情感语音合成模型，该模型无需参考音频即可从文本预测情感标签并生成更富表现力的语音。在实验中，作者验证了数据集的有效性，证明了该模型在情感语音合成任务中取得了显著性能。

Jun, 2021

该研究提出了一个含有 7 种情感类别的中文多模态多场景多标签情感对话数据集，命名为 M3ED，用于帮助跨文化情感分析与识别，并提供了多模态上下文感知框架（MDI）以进行情感识别。

May, 2022

本文介绍了情感语音转换研究的最新进展以及现有的情感语音数据库，并且提出了一种新的情感语音数据库（ESD）来满足不断增长的研究需求，在控制的声学环境下记录了超过 29 个小时的音频数据，包括 10 位英语和 10 位中文讲话者的 350 个平行发声，分别涵盖中性、快乐、愤怒、悲伤和惊讶 5 种情感类别。此外，本文还在 ESD 数据库上实现了几个最先进的情感语音转换系统，并提供了 ESD 的参考研究。

May, 2021

本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

Feb, 2018

该研究使用 MATLAB 函数与机器学习模型分析人类语音中的声音特征，如谐波、周期性、频谱形状等，实现人类情感的识别。通过使用多个数据集进行训练，并对比测试，发现该模型优于现有类似作品。

Apr, 2023

本文介绍了一种利用 LSTM 结合口语音频和文本信息对多媒体剪辑中的情感进行识别的多模态神经架构，其优于单模态基线，并在唤起任务中达到了 0.400 的相关性系数和在价值任务中达到了 0.353 的相关系数。

May, 2018

本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

Apr, 2023

本文提出了一种深度双重循环编码器模型，利用语音和文本数据进行机器情感识别，该模型表现更优，实验结果显示，当将该模型应用于 IEMOCAP 数据集时，在将数据分配到四个情感类别（愤怒，高兴，悲伤和中性）方面，准确率在 68.8％至 71.8％之间。

Oct, 2018