Aug, 2017

采用聚合语料库和深度多任务学习实现野外情感识别语音

PDF
TL;DR使用多任务学习以及在深度神经网络中使用性别和自然度等辅助任务来改善情感模型的泛化能力，并在理论模拟和实际数据中比较了单任务学习方法，结果表明多任务学习方法显著提高了情感识别性能，尤其是使用性别和自然度都提高了性能。
发现论文，激发创造
  • 野外情感语音识别中的跨模态转移

    本篇研究提出一种基于面部表情的情感识别的无监督学习方法，通过跨模态蒸馏将面部表情标注传递到语音领域，用于语音情感识别，实现了在未标注音频数据下学习语音情感表示的目标。

    Aug, 2018

  • 将对比学习融入多任务 Transformer 模型以实现有效的领域自适应

    提出一种新颖的领域适应技术，采用 SER 作为主任务、对比学习和信息最大化损失作为辅助任务的多任务框架，借助在大型语言模型上进行微调的 transformer 实现跨语料库情感识别的最新性能。

    Oct, 2023

  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • CTL-MTNet：一种基于 CapsNet 和迁移学习的混合任务网络，用于单语料库和跨语料库语音情感识别

    本文提出了基于胶囊网络和传递学习的混合任务网络 (CTLMTNet) 来同时处理单语料库和跨语料库的语音情感识别任务，其中设计了结合卷积池化和注意力胶囊网络模块 (CPAC) 来提取高层特征，并运用领域自适应对抗性模块 (CAAM) 来提取具有域不变性的情感表示。实验结果表明，CTL-MTNet 在四个不同语言的语音情感识别任务中性能优异。

    Jul, 2022

  • 多任务半监督对抗自编码器用于语音情感识别

    本文提出一种基于多任务学习的框架，通过利用大量的性别分类数据和说话人识别数据，结合采用对抗自编码器（AAE）进行半监督学习的方法，提高语音情感识别的性能，实现更高水平的情感识别表现。

    Jul, 2019

  • 解析情绪：针对语音情感识别的全面多语言研究

    使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了 7 个数据集上的错误率 32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。

    Aug, 2023

  • 跨语料库语音情感识别与数据增强研究

    本文研究交叉语料库数据补充和数据扩充对匹配条件和失配条件下的语音情感识别模型性能的影响，实验结果表明在失配条件下，使用混合语料库的模型比单一语料库训练更稳定，而且数据扩充对失配条件的提升更为明显。

    Jan, 2022

  • 半监督跨语言语音情感识别

    本文提出一种基于半监督学习的交叉语言情感识别方法，使用卷积神经网络 (CNN) 和伪标签策略进行训练，在五种不同语言的数据上表现出鲁棒性。

    Jul, 2022

  • 面向可推广 SER 的软标注和数据增强：建模大规模多语种语音中的情绪时序变化

    通过合并多个语料库，提出了一种软标签系统来识别口语交流中的情感，并使用时间动力学强调情感的动态变化。通过在跨语言的四个多语种数据集上进行验证，展示了引人注目的零 - shot 泛化性能。

    Nov, 2023

  • 利用语音 PTM、文本 LLM 和情感 TTS 进行语音情感识别

    通过研究不同的预训练模型、情感文本合成和数据增强方法，本文提出了一种提高语音情感识别效果的方法，实验结果表明该方法在 IEMOCAP 数据集上具有较高的效果。

    Sep, 2023