Aug, 2024

SER评估：语音情感识别的领域内外基准测试

HTML
PDF
TL;DR本研究解决了语音情感识别模型在不同语言和情感表达上的泛化能力不足的问题。我们提出了一个大规模基准，用于评估先进SER模型在领域内外的鲁棒性和适应性，发现Whisper模型在跨语言SER中优于专门的自监督学习模型。该基准为未来研究提供了重要资源，以提升SER模型的可靠性。
发现论文，激发创造
  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了3％和14.3％的准确率。

    Oct, 2022

  • 设计与评估语音情感识别系统：IEMOCAP的现实案例研究

    本文旨在对使用IEMOCAP的情感语音识别研究进行批判性评审, 并提出了情感语音识别的评估准则和可重复性评估方法。

    Apr, 2023

  • 跨语料库多语言语音情感识别：阿姆哈拉语与其他语言

    跨语言和多语言训练可以是资源稀缺的语言中训练情感识别分类器的有效策略。

    Jul, 2023

  • 解析情绪：针对语音情感识别的全面多语言研究

    使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于Transformer的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了7个数据集上的错误率32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。

    Aug, 2023

  • INTERSPEECH 2009情感挑戰重探：在語音情感識別領域15年的進展基準

    重新回顾评估深度学习模型在语音情感识别研究中的最新进展，表明尽管取得了一些进步，FAU-AIBO仍然是一个具有挑战性的基准，而新的方法并不一致地优于旧的方法，显示解决语音情感识别问题的进展不一定是单调的。

    Jun, 2024

  • EmoBox: 跨语言多语料库语音情感识别工具箱与基准

    我们提出了EmoBox，这是一个开箱即用的多语言多语料库语音情感识别工具包，并配备了用于内部和跨语料库设置的基准测试。

    Jun, 2024

  • 如何在数据集间推广SER模型？一个全面的基准测试

    通过整合多个数据集、解决数据分布不均衡以及评估协议，本研究旨在推进语音情感识别技术的发展，以实现人机交互的增强。

    Jun, 2024

  • 通过语音到语音翻译和自助数据选择改善欠资源语言中的语音情感识别

    本研究解决了多语言语音情感识别系统在欠资源语言中因标记数据稀缺而面临的挑战。研究提出了一种结合表达性语音到语音翻译和新颖自助数据选择流程的方法，以生成目标语言的标记数据。实验表明，该方法有效且具有较好的通用性，能够推动多国语言情感识别系统的发展。

    Sep, 2024

  • 跨语言语音情感识别：人类与自监督模型的对比

    该研究探讨了自监督学习模型在跨语言语音情感识别中的应用，填补了该领域的研究空白。通过比较人类与模型在不同场景下的表现，并分析方言对识别效果的影响，研究发现适当的知识迁移使模型在目标语言中达到了与母语者相当的表现，从而为跨语言语音情感识别提供了新的见解。

    Sep, 2024

  • 基于领域适应的跨语言元学习方法用于语音情感识别

    本研究解决了语音情感识别中数据稀缺的问题，探讨了在有限数据条件下模型的表现。我们采用元学习技术并引入改进的多阶段元学习方法，结合大型预训练模型和原型网络，以提高模型在不同分布数据集上的性能。通过这种方法，我们在希腊语和罗马尼亚语情感识别数据集上达到了83.78%和56.30%的准确率，显示了该方法的实际应用潜力。

    Oct, 2024