Oct, 2024

基于领域适应的跨语言元学习方法用于语音情感识别

HTML
PDF
TL;DR本研究解决了语音情感识别中数据稀缺的问题，探讨了在有限数据条件下模型的表现。我们采用元学习技术并引入改进的多阶段元学习方法，结合大型预训练模型和原型网络，以提高模型在不同分布数据集上的性能。通过这种方法，我们在希腊语和罗马尼亚语情感识别数据集上达到了83.78%和56.30%的准确率，显示了该方法的实际应用潜力。
发现论文，激发创造
  • 通过对抗性鉴别域泛化（ADDoG）改善跨语料库语音情感识别

    本文提出了基于ADDoG和MADDoG的自动演讲情感识别方法，采用迭代移动学习到的情感数据表示，提高跨数据集通用性，并在实验中取得了显著的成果。

    Mar, 2019

  • 语音情感识别的可迁移特征学习

    本文提出了一种基于卷积神经网络和长短记忆网络的深度学习架构，通过使用可转移的特征从多个源域自适应模型并识别不同情感领域的语音情感，实验结果表明，该方法提供了4.3％至18.4％的效果增益。

    Dec, 2019

  • 半监督跨语言语音情感识别

    本文提出一种基于半监督学习的交叉语言情感识别方法，使用卷积神经网络(CNN)和伪标签策略进行训练，在五种不同语言的数据上表现出鲁棒性。

    Jul, 2022

  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了3％和14.3％的准确率。

    Oct, 2022

  • 跨语料库多语言语音情感识别：阿姆哈拉语与其他语言

    跨语言和多语言训练可以是资源稀缺的语言中训练情感识别分类器的有效策略。

    Jul, 2023

  • 解析情绪：针对语音情感识别的全面多语言研究

    使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于Transformer的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了7个数据集上的错误率32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。

    Aug, 2023

  • 低资源和中等资源语言中的情绪分类

    通过跨语言情感分类器，我们通过在资源丰富的语言（英语）上进行训练，并将其应用于资源匮乏的和濒危的语言，成功地实现了情感的跨语言传递和分析。

    Feb, 2024

  • 增强跨语言语音情绪识别的分层锚定策略

    通过在不同层之间嵌入信息，通过跨语言语音情感识别中的层锚定机制以促进情感转移，该研究使用两个不同语言情感语料库进行评估，并在BIIC-podcast语料库上取得了最佳UAR性能为60.21%。

    Jul, 2024

  • SER评估：语音情感识别的领域内外基准测试

    本研究解决了语音情感识别模型在不同语言和情感表达上的泛化能力不足的问题。我们提出了一个大规模基准，用于评估先进SER模型在领域内外的鲁棒性和适应性，发现Whisper模型在跨语言SER中优于专门的自监督学习模型。该基准为未来研究提供了重要资源，以提升SER模型的可靠性。

    Aug, 2024

  • 跨语言语音情感识别：人类与自监督模型的对比

    该研究探讨了自监督学习模型在跨语言语音情感识别中的应用，填补了该领域的研究空白。通过比较人类与模型在不同场景下的表现，并分析方言对识别效果的影响，研究发现适当的知识迁移使模型在目标语言中达到了与母语者相当的表现，从而为跨语言语音情感识别提供了新的见解。

    Sep, 2024