Jan, 2024

揭示讲话者嵌入中的情感聚类：对话音频情感识别的对比学习策略

PDF
TL;DR研究表明说话者嵌入包含有关情感的有价值信息，因此在情感识别中，利用有限的标记数据，说话者嵌入有潜力成为一种有前途的资源。通过进行彻底的聚类分析，研究人员发现了情感与最先进的说话者嵌入之间的直接且有用的联系。为了利用这些信息，他们引入了一种新颖的对比预训练方法，基于说话者嵌入的类内聚类样本来进行情感无标签数据的预训练，取得了显著的情感识别性能改善。
speaker embeddingsemotionspeech emotion recognitionclustering analysiscontrastive pretraining
发现论文，激发创造
  • 探索基于自监督多视角对比学习在有限标注下的语音情感识别

    提出了一种多视角的自监督学习预训练技术，用于改善情感识别在数据标注有限的情况下的性能，实验证明该框架能够提高业绩。

    Jun, 2024

  • 通过对抗训练进行说话者不变的情感表示学习

    本文提出了一种基于对抗训练网络来消除发言人特征并更好地表示情感的机器学习框架，在 IEMOCAP 和 CMU-MOSEI 数据集上实验表明该框架能够提高语音情感分类的准确性并增加对未知发言人的泛化能力。

    Nov, 2019

  • 无监督表示在语音情感识别中改善有监督学习

    该研究提出了一种创新的方法，通过将自我监督特征提取与监督分类相结合，从较小的音频片段中识别情感，提高了人机交互的情感理解能力。

    Sep, 2023

  • 对话中语音情感识别的分段特征表示的深度学习

    本文针对会话中情绪识别的复杂性，提出了一种利用双向门控循环神经网络捕捉上下文相关性和说话人之间相互作用的对话情感识别方法。实验结果表明该方法比现有的最先进方法更为有效。

    Feb, 2023

  • 使用不平衡的语音数据学习情感表示，用于语音情感识别和情感文本转语音

    本研究提出情感抽取器解决了在语音情感识别和情感语音合成等任务中因数据集不平衡带来的问题，并采用数据增强方法训练模型以提取出通用有效的语音情感表征，为情感语音合成任务提供更具表现力的语音。

    Jun, 2023

  • 对话情绪识别中的聚类级对比学习

    提出了一种低维度的监督聚类级对比学习（SCCL）方法，将高维度的语义空间转换为三维的情感表示空间（VAD），通过聚类对比学习来融合可量化的情绪原型，利用预先训练的知识适配器来丰富上下文和模拟对话，从而在不同的数据集上实现了新的最先进的情感识别结果。

    Feb, 2023

  • 利用最近邻对比学习生成语音序列嵌入

    我们介绍了一个基于自监督的音频表示的简单神经编码器架构，该架构可以使用无监督对比学习目标进行训练，并通过 k - 最近邻搜索获得它的正样本，从而可以在多个语言中应用，可用于随机语音序列的按示例查询和口头术语的发现，实验证明该方法在五种语言上显著推动了技术发展，并建立了一个基准测试以便未来监测领域的进展。

    Apr, 2022

  • 基于讲话者注意力的语音情感识别

    本文提出了一种基于自训练机制以及 Self Speaker Attention 机制的情感识别方法，该方法在 Att-HAC 和 IEMOCAP 上实现了最新的性能表现。

    Apr, 2021

  • 预训练语音和音频嵌入的情感识别比较研究

    这项工作对来自八个语音预训练模型（wav2vec 2.0，data2vec，wavLM，UniSpeech-SAT，wav2clip，YAMNet，x-vector，ECAPA）的嵌入进行了比较分析。对四个语音情感数据集进行了广泛的实证分析，结果表明，最佳表现是由从训练说话者识别的 PTMs 获得的嵌入训练的算法实现的，这表明从演讲者识别 PTMs 提取嵌入的最佳性能很可能是由于模型在演讲者识别训练期间获取了有关许多语音特征（例如语调，口音，音高等）的信息。

    Apr, 2023

  • 情感识别对话的受监督原型对比学习

    本文提出了一种基于监督原型对比学习和课程学习的方法，旨在解决情感识别中遇到的不平衡分类问题，其不需要大的批量比对。对应用该方法进行的三项基准测试的结果表明其取得了最佳效果，并且分析实验进一步证明了其有效性。

    Oct, 2022