May, 2024

使用任务自适应预训练的主动学习方法用于语音情感识别

PDF
TL;DR通过利用主动学习 (AL) 和任务适应预训练 (TAPT) 方法，我们提出了一种名为 extsc {After} 的情感语音识别 (SER) 框架，用于增强性能和效率，实验证明我们的方法在仅使用 20％的样本时，准确率提高了 8.45％，时间消耗减少了 79％。
speech emotion recognitionactive learningfine-tuningtask adaptation pre-trainingtime consumption
发现论文，激发创造
  • 基于主动学习的语音情感识别的微调框架

    提出了一种基于主动学习和微调的语音情感识别框架，使用任务适应性预训练和主动学习方法来提高性能和效率，并通过仅使用 20% 的样本来改善 8.45% 的准确性和减少 79% 的时间消耗。

    Sep, 2023

  • 探索 Wav2vec 2.0 微调以提高语音情绪识别

    该研究介绍了使用不同的微调策略，将 Wav2Vec 2.0 应用在语音情感识别上，从而进一步提高其性能，最终成功达到了在 IEMOCAP 数据集上的最新状态下的表现，升高 7.4% 的绝对无权重准确率，同时提出了一种上下文化情感表示的微调方法 “P-TAPT”。

    Oct, 2021

  • 情感导向的自动语音识别预训练，增强语音情感识别

    提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数据上进行了微调，达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数（CCC）0.41。

    Jan, 2022

  • 语音情绪识别和领域适应的参数高效微调

    经验证，通过参数高效微调（PEFT）方法，结合精简可训练参数数量，能够有效提升语音情感识别（SER）模型的性能，并通过两阶段适应策略使模型具备更好捕捉自然情感表达的能力。

    Feb, 2024

  • 语音情绪识别的帧级情绪状态对齐方法

    我们提出了一种针对 SER 的帧级情感状态对齐方法，通过为 HuBERT 模型设置任务自适应预训练（TAPT）方法并使用聚类生成帧级伪情感标签，然后利用这些伪标签对 HuBERT 进行预训练，使其每个帧输出都具有相应的情感信息。最后，通过在其顶部添加一个注意力层，使 HuBERT 仅关注那些与话语级别标签情感更一致的帧，从而对上述预训练的 HuBERT 进行进一步微调，实验结果表明我们的方法优于现有的最先进方法（SOTA）。

    Dec, 2023

  • 利用语音 PTM、文本 LLM 和情感 TTS 进行语音情感识别

    通过研究不同的预训练模型、情感文本合成和数据增强方法，本文提出了一种提高语音情感识别效果的方法，实验结果表明该方法在 IEMOCAP 数据集上具有较高的效果。

    Sep, 2023

  • 多任务半监督对抗自编码器用于语音情感识别

    本文提出一种基于多任务学习的框架，通过利用大量的性别分类数据和说话人识别数据，结合采用对抗自编码器（AAE）进行半监督学习的方法，提高语音情感识别的性能，实现更高水平的情感识别表现。

    Jul, 2019

  • 心态的转变：通过语音转文本模态转换来改善语音情感识别

    通过实施自动语音识别（ASR）系统和文本分类器相结合的 Modality-Conversion 方法以及假设具有完美 ASR 输出并研究其在 SER 上的影响的 Modality-Conversion++ 方法，本研究证明了模态转换在增强 MELD 数据集上的情感识别绩效方面的潜力，并超越了现有的基于语音的方法。

    Jul, 2023

  • 将对比学习融入多任务 Transformer 模型以实现有效的领域自适应

    提出一种新颖的领域适应技术，采用 SER 作为主任务、对比学习和信息最大化损失作为辅助任务的多任务框架，借助在大型语言模型上进行微调的 transformer 实现跨语料库情感识别的最新性能。

    Oct, 2023

  • 采用聚合语料库和深度多任务学习实现野外情感识别语音

    使用多任务学习以及在深度神经网络中使用性别和自然度等辅助任务来改善情感模型的泛化能力，并在理论模拟和实际数据中比较了单任务学习方法，结果表明多任务学习方法显著提高了情感识别性能，尤其是使用性别和自然度都提高了性能。

    Aug, 2017