跨语料库多语言语音情感识别:阿姆哈拉语与其他语言
本文介绍了 Amharic 语言情感识别数据集(ASED),并使用 MFCC 特征和 VGGb 模型进行实验,结果表明在不同的训练模式下 MFCC 特征的效果优于 Mel-spectrogram 特征。由于 VGGb 在 ASED 数据集上的表现优异,同时在训练时间最短,本文提出该模型可成功用于其他语言的情感识别任务。
Jan, 2022
本文针对低资源语言,提出了一种语言特定的多预训练语音模型情感信息提取方法,设计了一种多领域模型,采用多门机制,并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构,并引入对比辅助损失来构建更可分离的音频数据表示。实验表明,该模型为德语和法语提高了 3%和 14.3%的准确率。
Oct, 2022
本文研究交叉语料库数据补充和数据扩充对匹配条件和失配条件下的语音情感识别模型性能的影响,实验结果表明在失配条件下,使用混合语料库的模型比单一语料库训练更稳定,而且数据扩充对失配条件的提升更为明显。
Jan, 2022
使用八种语音表示模型和六种不同语言,该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能,并通过探索性实验揭示了这些模型的内部表征。实验结果表明,相较于使用所有层的语音模型特征的系统,仅使用语音模型最优层的特征平均降低了 7 个数据集上的错误率 32%。此外,还在德语和波斯语的语音情感识别方面取得了最新的成果,探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。
Aug, 2023
通过合并多个语料库,提出了一种软标签系统来识别口语交流中的情感,并使用时间动力学强调情感的动态变化。通过在跨语言的四个多语种数据集上进行验证,展示了引人注目的零 - shot 泛化性能。
Nov, 2023
提出了一种新颖的多任务预训练方法,用于语音情感识别,在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练,生成目标情感分类的方法,通过公开数据训练的文本情感模型,将声学 ASR 模型更加 “情感感知”,最终在情感注释语音数据上进行了微调,达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数(CCC)0.41。
Jan, 2022
本研究通过比较使用多语种和单语种模型进行语音识别的表现,提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术,取得了印度诸多语言语音识别的较好效果。
Mar, 2022