通过对抗训练进行说话者不变的情感表示学习

Nov, 2019

通过对抗训练进行说话者不变的情感表示学习

Speaker-invariant Affective Representation Learning via Adversarial Training

Haoqi Li, Ming Tu, Jing Huang, Shrikanth Narayanan, Panayiotis Georgiou

TL;DR本文提出了一种基于对抗训练网络来消除发言人特征并更好地表示情感的机器学习框架，在 IEMOCAP 和 CMU-MOSEI 数据集上实验表明该框架能够提高语音情感分类的准确性并增加对未知发言人的泛化能力。

Abstract

Representation learning for speech emotion recognition is challenging due to labeled data sparsity issue and lack of gold standard references. In addition, there is much variability from input speech signals, human subjective perception of the signals and emotion label ambiguity. In th

speech emotion recognition machine learning framework adversarial training network speaker variability entropy loss function

发现论文，激发创造

自监督式语音情感识别的说话人归一化

我们提出了一种基于梯度对抗学习框架的方法，该方法可以从特征表示中规范化发言者特征，从而学习语音情感识别任务，在演讲者无关和有关的设置下，我们在具有挑战性的 IEMOCAP 数据集上获得了新的最优结果。

Feb, 2022

从语音中学习情感表现

本文探讨运用去噪自编码器来学习从语音中分离出言语内容以外的语调特征，实现从语音中学习情感的判别，包括基于时间窗口的快速傅里叶变换和梅尔频率倒谱系数等不同的输入方法和不同的自编码器结构，结果显示学习到的表示具备与优秀的特征提取器相当的能力。

Nov, 2015

使用不平衡的语音数据学习情感表示，用于语音情感识别和情感文本转语音

本研究提出情感抽取器解决了在语音情感识别和情感语音合成等任务中因数据集不平衡带来的问题，并采用数据增强方法训练模型以提取出通用有效的语音情感表征，为情感语音合成任务提供更具表现力的语音。

Jun, 2023

基于讲话者注意力的语音情感识别

本文提出了一种基于自训练机制以及 Self Speaker Attention 机制的情感识别方法，该方法在 Att-HAC 和 IEMOCAP 上实现了最新的性能表现。

Apr, 2021

多任务半监督对抗自编码器用于语音情感识别

本文提出一种基于多任务学习的框架，通过利用大量的性别分类数据和说话人识别数据，结合采用对抗自编码器（AAE）进行半监督学习的方法，提高语音情感识别的性能，实现更高水平的情感识别表现。

Jul, 2019

野外情感语音识别中的跨模态转移

本篇研究提出一种基于面部表情的情感识别的无监督学习方法，通过跨模态蒸馏将面部表情标注传递到语音领域，用于语音情感识别，实现了在未标注音频数据下学习语音情感表示的目标。

Aug, 2018

对话中语音情感识别的分段特征表示的深度学习

本文针对会话中情绪识别的复杂性，提出了一种利用双向门控循环神经网络捕捉上下文相关性和说话人之间相互作用的对话情感识别方法。实验结果表明该方法比现有的最先进方法更为有效。

Feb, 2023

使用高级音频和文本特征的多模态情感识别

本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

Sep, 2021

对语音情感识别模型的对抗攻击进行系统评估

这项研究评估了深度学习模型在语音情感识别中面临的对抗性攻击问题，发现 CNN-LSTM 模型对对抗示例非常脆弱，且攻击对不同语言和性别的影响差异较小。该研究为提高语音情感识别算法的鲁棒性，设计更有效的攻击、探究可能的防御方法以及加深我们对语言和性别差异的理解提供了基线数据。

Apr, 2024

基于注意力增强的端到端多任务学习在语音情感预测中的应用

本文提出了一种增强的端到端框架，通过学习其他辅助任务和关注机制来获取更加稳健和更好地共享表示，以缓解传统系统中由于有限训练数据而导致的过拟合问题，提高语音情感识别性能。

Mar, 2019