Sep, 2023

LanSER: 语言模型支持下的语音情感识别

PDF
TL;DR利用先前训练的大型语言模型，LanSER 通过弱监督学习方法通过推断弱情绪标签实现对未标记数据的利用，并在限制到特定分类方法的情况下使用文本蕴涵方法从自动语音识别中提取的语音转录本选择具有最高蕴涵分数的情绪标签，实验证明，使用这种弱监督方法的大型数据集的预训练模型在标准语音情感识别数据集上的调整后表现优于其他基线模型，并显示了改进的标签效率，尽管这些模型仅以文本为基础进行了预训练，但我们证明了得到的表示形式似乎对语音的韵律内容进行了建模。
speech emotion recognitionlanserweakly-supervised learninglarge language modelslabel efficiency
发现论文，激发创造
  • 半监督跨语言语音情感识别

    本文提出一种基于半监督学习的交叉语言情感识别方法，使用卷积神经网络 (CNN) 和伪标签策略进行训练，在五种不同语言的数据上表现出鲁棒性。

    Jul, 2022

  • 探索基于自监督多视角对比学习在有限标注下的语音情感识别

    提出了一种多视角的自监督学习预训练技术，用于改善情感识别在数据标注有限的情况下的性能，实验证明该框架能够提高业绩。

    Jun, 2024

  • 面向可推广 SER 的软标注和数据增强：建模大规模多语种语音中的情绪时序变化

    通过合并多个语料库，提出了一种软标签系统来识别口语交流中的情感，并使用时间动力学强调情感的动态变化。通过在跨语言的四个多语种数据集上进行验证，展示了引人注目的零 - shot 泛化性能。

    Nov, 2023

  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • 探究语音情感识别变形金刚在语言知识方面的应用

    本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

    Apr, 2022

  • 情感导向的自动语音识别预训练，增强语音情感识别

    提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数据上进行了微调，达到了 MSP-Podcast 数据集中价值预测最佳的一致性相关系数（CCC）0.41。

    Jan, 2022

  • 基于神经结构学习的设备端语音情感识别知识迁移

    提出了一种基于神经结构化学习的轻量化模型训练框架，能够在边缘设备上有效地实现语音情感识别，提高模型性能，并降低模型大小。

    Oct, 2022

  • 如何在数据集间推广 SER 模型？一个全面的基准测试

    通过整合多个数据集、解决数据分布不均衡以及评估协议，本研究旨在推进语音情感识别技术的发展，以实现人机交互的增强。

    Jun, 2024

  • 无监督表示在语音情感识别中改善有监督学习

    该研究提出了一种创新的方法，通过将自我监督特征提取与监督分类相结合，从较小的音频片段中识别情感，提高了人机交互的情感理解能力。

    Sep, 2023

  • 解析情绪：针对语音情感识别的全面多语言研究

    使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了 7 个数据集上的错误率 32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。

    Aug, 2023