Dec, 2023

语音与文本情感识别器

PDF
TL;DR情感计算是一门研究领域，专注于开发能够理解、解释和响应人类情感的系统和技术。本研究主要针对公开可用的情感标签数据集稀缺和不平衡的问题，通过合并这些数据集以及采用各种语音数据增强技术构建了一个均衡的语料库，并在语音情感识别方面尝试了不同的架构。最佳系统是一个多模态的语音和基于文本的模型，相对于基准算法的性能为 157.57（不加权准确度 + 加权准确度），而基准算法的性能为 119.66。
affective computingspeech emotion recognitiondatasetscorpusmulti-modal model
发现论文，激发创造
  • 情感导向的自动语音识别预训练，增强语音情感识别

    提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数据上进行了微调，达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数（CCC）0.41。

    Jan, 2022

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • ASR 和情感语音：语音和情感识别相互影响的单词级调查

    研究利用自动语音识别系统分析情感语音，以及在转录情感语音时出现的错误，探讨自动语音识别对情感语音的适应性，进而促进情感语音的实际应用。

    May, 2023

  • 情感计算的深度学习：决策支持中基于文本的情感识别

    本研究旨在通过深度学习和转移学习来提高情感计算中文段落情感识别精度。我们使用改进后的循环神经网络模型，并提出 Sent2affect 模型进行迁移学习。实验结果表明，我们的模型在 6 个基准数据集上表现出色，相对于传统机器学习方法有了显著提升。这些发现对情感计算的应用具有重要的启示意义。

    Mar, 2018

  • 使用深度神经网络进行波斯语音情感识别

    本研究利用各种深度学习和机器学习技术，通过对一个 Farsi/Persian 数据集的分析，研究了 Farsi 语言中的情感识别技术，取得了 65.20% 的 UA 和 78.29% 的 WA。

    Apr, 2022

  • 使用 CNN 的语音情感识别及其在数字化医疗中的应用案例

    使用卷积神经网络（CNN) 对音频录音进行识别和情感标记，通过机器学习方法评估表情识别模型，并关注精确度、召回率和 F1 得分，以提高交流意图的识别能力。

    Jun, 2024

  • 基于讲话者注意力的语音情感识别

    本文提出了一种基于自训练机制以及 Self Speaker Attention 机制的情感识别方法，该方法在 Att-HAC 和 IEMOCAP 上实现了最新的性能表现。

    Apr, 2021

  • 基于语音的多模态情感识别中的学习对齐

    本文提出使用注意力机制学习语音帧和文本单词之间的对齐方法，以提高音频 - 文本多模态情感识别的准确性，并在 IEMOCAP 数据集上取得了最先进的性能。

    Sep, 2019

  • 语音情感识别的实证研究与改进

    本文提出了一种通过视角损失来改进的多模态语音情感识别模型，通过融合音频和文本信息来提高多模态任务的性能表现，在 IEMOCAP 数据集上获得了最新的最佳表现。

    Apr, 2023

  • 利用语音和文本的多模态语音情感识别

    本文提出了一种深度双重循环编码器模型，利用语音和文本数据进行机器情感识别，该模型表现更优，实验结果显示，当将该模型应用于 IEMOCAP 数据集时，在将数据分配到四个情感类别（愤怒，高兴，悲伤和中性）方面，准确率在 68.8％至 71.8％之间。

    Oct, 2018