利用语音 PTM、文本 LLM 和情感 TTS 进行语音情感识别

Sep, 2023

利用语音 PTM、文本 LLM 和情感 TTS 进行语音情感识别

Leveraging Speech PTM, Text LLM, and Emotional TTS for Speech Emotion Recognition

Ziyang Ma, Wen Wu, Zhisheng Zheng, Yiwei Guo, Qian Chen...

TL;DR通过研究不同的预训练模型、情感文本合成和数据增强方法，本文提出了一种提高语音情感识别效果的方法，实验结果表明该方法在 IEMOCAP 数据集上具有较高的效果。

Abstract

In this paper, we explored how to boost speech emotion recognition (SER) with the state-of-the-art speech pre-trained model (PTM), data2vec, text generation technique, GPT-4, and speech synthesis technique, Azure

speech emotion recognition pre-trained model data augmentation emotional text-to-speech iemocap dataset

发现论文，激发创造

预训练语音和音频嵌入的情感识别比较研究

这项工作对来自八个语音预训练模型（wav2vec 2.0，data2vec，wavLM，UniSpeech-SAT，wav2clip，YAMNet，x-vector，ECAPA）的嵌入进行了比较分析。对四个语音情感数据集进行了广泛的实证分析，结果表明，最佳表现是由从训练说话者识别的 PTMs 获得的嵌入训练的算法实现的，这表明从演讲者识别 PTMs 提取嵌入的最佳性能很可能是由于模型在演讲者识别训练期间获取了有关许多语音特征（例如语调，口音，音高等）的信息。

Apr, 2023

使用不平衡的语音数据学习情感表示，用于语音情感识别和情感文本转语音

本研究提出情感抽取器解决了在语音情感识别和情感语音合成等任务中因数据集不平衡带来的问题，并采用数据增强方法训练模型以提取出通用有效的语音情感表征，为情感语音合成任务提供更具表现力的语音。

Jun, 2023

MM-TTS: 多模态、情绪感应文本转语音综合的统一框架

Multimodal Emotional Text-to-Speech System (MM-TTS) is proposed, which leverages emotional cues from multiple modalities, addresses the limitations of current approaches in capturing human emotions, and achieves superior performance compared to traditional Emotional Text-to-Speech models.

Apr, 2024

使用高级音频和文本特征的多模态情感识别

本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

Sep, 2021

利用语音情感识别和推荐系统处理治疗聊天机器人中的负面情绪

提出了一种通过增强语音感知能力来提升治疗聊天机器人对用户情绪理解和人性化回应的方法，该方法使用卷积神经网络（CNN）模型和 ShEMO 数据集的语音情感识别（SER）技术来准确检测和分类负面情绪，包括愤怒、恐惧和悲伤，并使用 SER 模型和 GloVe、LSTM 模型相结合的推荐系统生成个性化管理负面情绪的建议，同时将 GlowTTS 文本到语音模型整合到一起，使治疗聊天机器人能够用英语和波斯语将生成的建议以声音形式传达给用户，最终提高了英语和波斯语用户心理健康支持的交付效果。

Nov, 2023

情感语调在神经机器翻译中的实用性

通过将语音情感信息集成到神经机器翻译系统中，可以提高翻译质量。

Apr, 2024

语音情感识别中的语体性表征有多贴切？以一个案例研究为例

我们进行了五个预训练模型的综合比较研究，评估了 TRILLsson 对多种语言的语音情感识别的效果，并表明 TRILLsson 能够有效地捕捉语音数据中的各种语音特征，从而实现更好的语音情感识别性能。

Feb, 2024

情感导向的自动语音识别预训练，增强语音情感识别

提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数据上进行了微调，达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数（CCC）0.41。

Jan, 2022

利用自然语言提示控制语音合成中的情感

我们提出了一种通过由情感丰富的文本衍生出的嵌入来作为提示信息的系统，通过在基于 Transformer 的架构内多次集成发言者和提示信息的联合表示。我们的方法在合并情感语音和文本数据集上进行训练，并在每次训练迭代中变化提示信息，以增加模型的泛化能力。客观和主观评估结果表明，该条件合成系统能够准确地将提示中的情感转移到语音中。同时，保持了发言者身份的精确可追踪性以及整体的高话语质量和可理解性。

Jun, 2024

利用跨领域语音情感识别协助，使用无标记情感数据集进行情感可控语音合成

本文提出了一种新颖的情感文本转语音合成方法，通过跨域语音情感识别模型和情感文本转语音模型进行联合训练，从而在不需要情感标签的 TTS 数据集上生成具有情感表现力的语音，并且几乎不影响其语音质量。

Oct, 2020