Jun, 2024

如何在数据集间推广 SER 模型？一个全面的基准测试

PDF
TL;DR通过整合多个数据集、解决数据分布不均衡以及评估协议，本研究旨在推进语音情感识别技术的发展，以实现人机交互的增强。
speech emotion recognitiongeneralizationemotional speech datasetsimbalanced data distributionevaluation protocols
发现论文，激发创造
  • EmoBox: 跨语言多语料库语音情感识别工具箱与基准

    我们提出了 EmoBox，这是一个开箱即用的多语言多语料库语音情感识别工具包，并配备了用于内部和跨语料库设置的基准测试。

    Jun, 2024

  • 解析情绪：针对语音情感识别的全面多语言研究

    使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了 7 个数据集上的错误率 32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。

    Aug, 2023

  • INTERSPEECH 2009 情感挑戰重探：在語音情感識別領域 15 年的進展基準

    重新回顾评估深度学习模型在语音情感识别研究中的最新进展，表明尽管取得了一些进步，FAU-AIBO 仍然是一个具有挑战性的基准，而新的方法并不一致地优于旧的方法，显示解决语音情感识别问题的进展不一定是单调的。

    Jun, 2024

  • 面向可推广 SER 的软标注和数据增强：建模大规模多语种语音中的情绪时序变化

    通过合并多个语料库，提出了一种软标签系统来识别口语交流中的情感，并使用时间动力学强调情感的动态变化。通过在跨语言的四个多语种数据集上进行验证，展示了引人注目的零 - shot 泛化性能。

    Nov, 2023

  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • 设计与评估语音情感识别系统：IEMOCAP 的现实案例研究

    本文旨在对使用 IEMOCAP 的情感语音识别研究进行批判性评审，并提出了情感语音识别的评估准则和可重复性评估方法。

    Apr, 2023

  • 使用不平衡的语音数据学习情感表示，用于语音情感识别和情感文本转语音

    本研究提出情感抽取器解决了在语音情感识别和情感语音合成等任务中因数据集不平衡带来的问题，并采用数据增强方法训练模型以提取出通用有效的语音情感表征，为情感语音合成任务提供更具表现力的语音。

    Jun, 2023

  • 揭示隐藏因素：可解释的 AI 用于提升语音情感识别中的特征

    本研究提出了一种迭代特征增强方法来增强语音情感识别（SER）中机器学习模型的性能，并通过模型解释性实现了对情感决策的重要特征的识别和删除，对 SER 数据集的实验证明了该方法的有效性。

    Jun, 2024

  • 资源约束下基于数据蒸馏的语音情感识别

    通过合成、缩小和提炼数据集的方法，我们提出了一种数据蒸馏框架，以促进在物联网应用中高效开发情感语音识别模型。我们的实验表明，可以有效地利用提炼后的数据集来训练情感语音识别模型，并且性能与使用原始完整的情感语音数据集开发的模型相当。

    Jun, 2024

  • 基于波斯语 ASR 的 SER：修改 Sharif 情感语音数据库并研究波斯文本语料库

    本文通过使用自动语音识别系统，研究了来自波斯语文本语料库的 Farsi 语言模型对 Sharif 情感语音数据库（ShEMO）中不一致性的修复作用，并介绍了一种基于波斯语 / Farsi 语音识别的 SER 系统，该系统使用 ASR 输出的语言特征和基于深度学习的模型。

    Nov, 2022