Dec, 2023

情感多模态病理语音数据库的设计、构建与评估

PDF
TL;DR构建了第一个包含多视角信息的中文多模态情感病理性言语数据库，标记了 29 个对照组和 39 个不同程度运动性言语障碍患者表达快乐、悲伤、愤怒和中性情绪的情感言语，并通过精确度、言语可懂性、价值 - 唤醒空间分布和 SCL-90 与疾病严重程度之间的相关性等主观分析来验证其有效性。在语音和声门数据上进行的自动识别表明，对于对照组的音频，平均准确率为 78%，对于患者为 60%；对于声门数据，对照组为 51%，患者为 38%，表明疾病对情感表达的影响。
发现论文，激发创造
  • 普通话多模态情感语音数据库的构建与评估

    设计并建立了一个包括发音运动学、声学、声门和面部微表情的多模态情感汉语数据库，描述了从语料库设计、被试选择、录音细节和数据处理等方面的详细信息。通过对维度注释数据的统计分析验证了维度注释的有效性。使用支持向量机、卷积神经网络和深度神经网络计算了这七种情感的识别率，结果显示仅使用声学数据识别七种情感的平均识别率约为 82%。因此，该数据库具有高质量，可用作重要的语音分析研究来源，特别是用于多模态情感语音分析任务。

    Jan, 2024

  • 情感语音数据库：实现对语音生成系统中情感维度的控制

    本文介绍了一种情感语音数据库，涵盖男性和女性以及法语男性等不同语音。该数据库可以用于合成和生成语音，并且可以控制情感维度。通过建立一个简单的 MLP 系统，我们可以将中性语音转换为愤怒语音风格，并通过 CMOS 感知测试评估其效率，结果表明该系统的效率非常高，这为未来工作打下了良好的基础。

    Jun, 2018

  • 情感语音转换：理论、数据库与 ESD

    本文介绍了情感语音转换研究的最新进展以及现有的情感语音数据库，并且提出了一种新的情感语音数据库（ESD）来满足不断增长的研究需求，在控制的声学环境下记录了超过 29 个小时的音频数据，包括 10 位英语和 10 位中文讲话者的 350 个平行发声，分别涵盖中性、快乐、愤怒、悲伤和惊讶 5 种情感类别。此外，本文还在 ESD 数据库上实现了几个最先进的情感语音转换系统，并提供了 ESD 的参考研究。

    May, 2021

  • EMOVIE：一种普通话情感语音数据集及其简单情感文本转语音模型

    本篇论文提供了包括 9,724 个样本的情感语音数据集，并提出了一种名为 EMSpeech 的情感语音合成模型，该模型无需参考音频即可从文本预测情感标签并生成更富表现力的语音。在实验中，作者验证了数据集的有效性，证明了该模型在情感语音合成任务中取得了显著性能。

    Jun, 2021

  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • 声道动力学超声图像序列的小型词汇数据库

    本文介绍了一个包含同时记录声音与口腔运动数据的新数据库。通过超声视频记录的口腔运动数据可以对语音产生过程中的舌头上轮廓进行可视化。声学数据由定向心形麦克风采集的 30 个短句组成。此数据库包括来自哥伦比亚圣塔德尔地区的 17 名年轻志愿者（8 男性和 9 女性），他们声称没有任何语音病理。

    Aug, 2023

  • 利用语音和文本的多模态语音情感识别

    本文提出了一种深度双重循环编码器模型，利用语音和文本数据进行机器情感识别，该模型表现更优，实验结果显示，当将该模型应用于 IEMOCAP 数据集时，在将数据分配到四个情感类别（愤怒，高兴，悲伤和中性）方面，准确率在 68.8％至 71.8％之间。

    Oct, 2018

  • M3ED：多模态多场景多标签情感对话数据库

    该研究提出了一个含有 7 种情感类别的中文多模态多场景多标签情感对话数据集，命名为 M3ED，用于帮助跨文化情感分析与识别，并提供了多模态上下文感知框架（MDI）以进行情感识别。

    May, 2022

  • 情感演讲合成与丰富的精细控制

    本论文提出了一种有效的情感控制方法，用于端到端的文本到语音（TTS）系统，使用嵌入向量表示 TTS 输入并结合了内外情感距离比算法和插值技术来提高发音的表现力和可控性。主观评估表明所提算法优于传统方法。

    Nov, 2019

  • 基于深度多模态学习的口语情感识别

    本文提出了一种新颖的深度多模态框架，基于句子级别的口语语言预测人类情感，通过混合式的深度多模态结构从文本和音频中提取高级特征，再使用三层深度神经网络将所有特征融合起来进行训练，实现整个结构的最优全局微调，结果表明本文框架在 IEMOCAP 数据集上达到了 60.4% 的加权准确率。

    Feb, 2018