Nov, 2022

基于波斯语 ASR 的 SER：修改 Sharif 情感语音数据库并研究波斯文本语料库

PDF
TL;DR本文通过使用自动语音识别系统，研究了来自波斯语文本语料库的 Farsi 语言模型对 Sharif 情感语音数据库（ShEMO）中不一致性的修复作用，并介绍了一种基于波斯语 / Farsi 语音识别的 SER 系统，该系统使用 ASR 输出的语言特征和基于深度学习的模型。
发现论文，激发创造
  • 使用深度神经网络进行波斯语音情感识别

    本研究利用各种深度学习和机器学习技术，通过对一个 Farsi/Persian 数据集的分析，研究了 Farsi 语言中的情感识别技术，取得了 65.20% 的 UA 和 78.29% 的 WA。

    Apr, 2022

  • ASR 和情感语音：语音和情感识别相互影响的单词级调查

    研究利用自动语音识别系统分析情感语音，以及在转录情感语音时出现的错误，探讨自动语音识别对情感语音的适应性，进而促进情感语音的实际应用。

    May, 2023

  • 心态的转变：通过语音转文本模态转换来改善语音情感识别

    通过实施自动语音识别（ASR）系统和文本分类器相结合的 Modality-Conversion 方法以及假设具有完美 ASR 输出并研究其在 SER 上的影响的 Modality-Conversion++ 方法，本研究证明了模态转换在增强 MELD 数据集上的情感识别绩效方面的潜力，并超越了现有的基于语音的方法。

    Jul, 2023

  • 情感导向的自动语音识别预训练，增强语音情感识别

    提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数据上进行了微调，达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数（CCC）0.41。

    Jan, 2022

  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • 我们关心”: 提升客服对话中的混合语音情感识别

    通过在自然会话中引入词级 VAD 值，本研究在 Natural Speech Emotion Dataset（NSED）上将负面情绪的 SER 任务的准确率相比基准值提高了 2%，这对于业务利益至关重要，可以帮助开发更礼貌和有同理心的对话代理程序。

    Aug, 2023

  • 解析情绪：针对语音情感识别的全面多语言研究

    使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了 7 个数据集上的错误率 32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。

    Aug, 2023

  • 如何在数据集间推广 SER 模型？一个全面的基准测试

    通过整合多个数据集、解决数据分布不均衡以及评估协议，本研究旨在推进语音情感识别技术的发展，以实现人机交互的增强。

    Jun, 2024

  • EmoBox: 跨语言多语料库语音情感识别工具箱与基准

    我们提出了 EmoBox，这是一个开箱即用的多语言多语料库语音情感识别工具包，并配备了用于内部和跨语料库设置的基准测试。

    Jun, 2024

  • 基于 ASR 的情感识别特征：迁移学习方法

    本文研究了使用神经自动语音识别（ASR）作为情感识别的特征提取器，在预测色调和唤起情绪维度方面，这些特征优于 eGeMAPS 特征集。我们还研究了 ASR 的第一层和最后一层与 valence/arousal 之间的关系。

    May, 2018