Aug, 2023

解析情绪：针对语音情感识别的全面多语言研究

PDF
TL;DR使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了 7 个数据集上的错误率 32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。
transformer-based speech representation modelsspeech emotion recognitionmultiple languagesbenchmarkprobing experiments
发现论文，激发创造
  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • 探究语音情感识别变形金刚在语言知识方面的应用

    本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

    Apr, 2022

  • EmoBox: 跨语言多语料库语音情感识别工具箱与基准

    我们提出了 EmoBox，这是一个开箱即用的多语言多语料库语音情感识别工具包，并配备了用于内部和跨语料库设置的基准测试。

    Jun, 2024

  • 使用不平衡的语音数据学习情感表示，用于语音情感识别和情感文本转语音

    本研究提出情感抽取器解决了在语音情感识别和情感语音合成等任务中因数据集不平衡带来的问题，并采用数据增强方法训练模型以提取出通用有效的语音情感表征，为情感语音合成任务提供更具表现力的语音。

    Jun, 2023

  • 如何在数据集间推广 SER 模型？一个全面的基准测试

    通过整合多个数据集、解决数据分布不均衡以及评估协议，本研究旨在推进语音情感识别技术的发展，以实现人机交互的增强。

    Jun, 2024

  • 使用深度神经网络进行波斯语音情感识别

    本研究利用各种深度学习和机器学习技术，通过对一个 Farsi/Persian 数据集的分析，研究了 Farsi 语言中的情感识别技术，取得了 65.20% 的 UA 和 78.29% 的 WA。

    Apr, 2022

  • 通过提炼韵律和语言情感表达的语音情感识别

    EmoDistill 是一个新颖的语音情感识别（SER）框架，利用跨模态知识蒸馏在训练期间从语音中学习强大的语言和韵律情感表示。在推断过程中，我们的方法仅使用一系列语音信号执行单模态 SER，从而减少计算开销并避免运行时转录和韵律特征提取错误。在 IEMOCAP 基准上的实验证明，我们的方法以相当大的优势胜过其他单模态和多模态技术，并实现了 77.49％的非加权准确率和 78.91％的加权准确率。详细的消融研究展示了我们方法的每个组成部分的影响。

    Sep, 2023

  • INTERSPEECH 2009 情感挑戰重探：在語音情感識別領域 15 年的進展基準

    重新回顾评估深度学习模型在语音情感识别研究中的最新进展，表明尽管取得了一些进步，FAU-AIBO 仍然是一个具有挑战性的基准，而新的方法并不一致地优于旧的方法，显示解决语音情感识别问题的进展不一定是单调的。

    Jun, 2024

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 时间建模至关重要：一种新的面向语音情感识别的时间情感建模方法

    本文介绍了一种基于时间的情感建模方法，称为 TIM-Net，它学习来自各种时间尺度的多尺度情境情感表示，并用于提高语音情感识别的性能，实验结果表明 TIM-Net 在六个基准数据集上表现出优异的性能。

    Nov, 2022