Jul, 2019

多任务半监督对抗自编码器用于语音情感识别

PDF
TL;DR本文提出一种基于多任务学习的框架，通过利用大量的性别分类数据和说话人识别数据，结合采用对抗自编码器（AAE）进行半监督学习的方法，提高语音情感识别的性能，实现更高水平的情感识别表现。
speech emotion recognitionmulti-task learningadversarial autoencodersemi-supervised learningstate-of-the-art performance
发现论文，激发创造
  • 情感导向的自动语音识别预训练，增强语音情感识别

    提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数据上进行了微调，达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数（CCC）0.41。

    Jan, 2022

  • 探索基于自监督多视角对比学习在有限标注下的语音情感识别

    提出了一种多视角的自监督学习预训练技术，用于改善情感识别在数据标注有限的情况下的性能，实验证明该框架能够提高业绩。

    Jun, 2024

  • 对语音情感识别模型的对抗攻击进行系统评估

    这项研究评估了深度学习模型在语音情感识别中面临的对抗性攻击问题，发现 CNN-LSTM 模型对对抗示例非常脆弱，且攻击对不同语言和性别的影响差异较小。该研究为提高语音情感识别算法的鲁棒性，设计更有效的攻击、探究可能的防御方法以及加深我们对语言和性别差异的理解提供了基线数据。

    Apr, 2024

  • 用于语音情感识别的矢量量化掩码自编码器

    本文介绍了使用自监督学习方法的矢量量化掩模自动编码器模型 VQ-MAE-S，该模型基于离散空间的 向量量化变分自动编码器 中的掩模自动编码器（MAE）对语音信号中的情感进行识别。在 VoxCeleb2 数据集的 预训练 和情感性语音数据的 微调下，该模型在语音情感识别方面比使用原始频谱图的 MAE 和其他先进方法表现更好。

    Apr, 2023

  • 无监督表示在语音情感识别中改善有监督学习

    该研究提出了一种创新的方法，通过将自我监督特征提取与监督分类相结合，从较小的音频片段中识别情感，提高了人机交互的情感理解能力。

    Sep, 2023

  • 基于注意力增强的端到端多任务学习在语音情感预测中的应用

    本文提出了一种增强的端到端框架，通过学习其他辅助任务和关注机制来获取更加稳健和更好地共享表示，以缓解传统系统中由于有限训练数据而导致的过拟合问题，提高语音情感识别性能。

    Mar, 2019

  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • 将对比学习融入多任务 Transformer 模型以实现有效的领域自适应

    提出一种新颖的领域适应技术，采用 SER 作为主任务、对比学习和信息最大化损失作为辅助任务的多任务框架，借助在大型语言模型上进行微调的 transformer 实现跨语料库情感识别的最新性能。

    Oct, 2023

  • 基于讲话者注意力的语音情感识别

    本文提出了一种基于自训练机制以及 Self Speaker Attention 机制的情感识别方法，该方法在 Att-HAC 和 IEMOCAP 上实现了最新的性能表现。

    Apr, 2021

  • 通过对抗训练进行说话者不变的情感表示学习

    本文提出了一种基于对抗训练网络来消除发言人特征并更好地表示情感的机器学习框架，在 IEMOCAP 和 CMU-MOSEI 数据集上实验表明该框架能够提高语音情感分类的准确性并增加对未知发言人的泛化能力。

    Nov, 2019