Oct, 2023

呼叫中心对话中语音连续情绪识别的声学和语言表征

PDF
TL;DR本研究旨在自动检索实际呼叫中心对话中的满意度和挫折情绪，并侧重于持续追踪客户满意度以改善客户服务的工业应用。使用预训练的语音表示作为迁移学习形式，对 AlloSat 语料库进行了探索。实验结果确认了使用预训练特征可获得的性能大幅提升，并发现语言内容在满意度预测中起着明显的主导作用，并且对未知数据的泛化能力更强。此外，融合声学和语言模态的优势并不明显。该研究还探讨了性能变异性的问题，并试图从不同的视角估计此变异性：权重初始化、置信区间和注释主观性。对语言内容进行了深入分析，研究了能够解释语言模态在此任务中高贡献的可解释因素。
satisfactionfrustrationcall-center conversationsemotion detectionlinguistic content
发现论文，激发创造
  • 利用自监督预训练的声学和语言特征进行连续语音情感识别

    本文研究音频和文本的预训练提取特征方法，使用 wav2vec 和 camemBERT 模型进行连续情感识别任务，同时采用 SEWA 数据集，证明 wav2vec 和 BERT 预训练特征的联合使用在处理连续 SER 任务中表现非常合适。通过实验证明，新方法的 CCC 值达到 0.825，而传统的 MFCC 和 word2vec 仅为 0.592。

    Nov, 2020

  • 语音情感分析中的预训练模型表示及其对噪声的鲁棒性

    研究了预训练模型表示在情感语音识别中的应用，探讨了情感维度的表示方式，发现情感的激活度和支配力主要依赖于声学信息，而情感的价值主要依赖于词汇信息。使用多模态融合表示生成了最先进的情感识别，改进了情感估计中的准确度，发现词汇表示比声学表示更具有鲁棒性，并证明多模态模型知识蒸馏有助于提高基于声音的模型的噪声抗干扰能力。

    Mar, 2023

  • 语音情感：探究模型表达、多任务学习和知识蒸馏

    本研究探讨利用预训练的声学模型，将词汇信息融合到声学语音信号中，以改善情感估计，特别是情感维度中的愉悦度估计，并且发现预训练的模型嵌入融合可比标准声学特征基线（Mel 滤波器的能量）产生更好的效果，且经测试可以推广到其他数据集上。

    Jul, 2022

  • 融合声学和基于文本特征的情感识别的方法

    使用声学和文本特征，研究通过不同方法对语言情感进行分类的研究。使用 BERT 获取情感转录中所包含信息的上下文化词嵌入，相比使用 Glove 嵌入，结果表明表现更好。我们还提出并比较不同的音频和文本模式结合策略，并在 IEMOCAP 和 MSP-PODCAST 数据集上进行评估。我们发现，在这两个数据集上，融合声学和文本系统是有益的，尽管在评估的融合方法中只观察到微小的差异。最后，对于 IEMOCAP 数据集，我们展示了用于定义交叉验证折叠的标准方法对结果的巨大影响。特别是，为该数据集创建折叠的标准方法导致对于文本系统的性能高度乐观的估计，这表明一些先前的作品可能夸大了结合转录的优势。

    Mar, 2024

  • 探究语音情感识别变形金刚在语言知识方面的应用

    本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

    Apr, 2022

  • 使用高级音频和文本特征的多模态情感识别

    本篇研究提出一个基于深度学习和跨媒介表征学习的情感识别方法，该方法融合了文字和语音特征，并通过评估发现其在 IEMOCAP 数据集上表现优于其它方法。

    Sep, 2021

  • 对话中语音情感识别的分段特征表示的深度学习

    本文针对会话中情绪识别的复杂性，提出了一种利用双向门控循环神经网络捕捉上下文相关性和说话人之间相互作用的对话情感识别方法。实验结果表明该方法比现有的最先进方法更为有效。

    Feb, 2023

  • 利用声学特性引导音频的情感表示

    通过使用自然语言描述和基于声学特性的提示来更好地表示情绪的表达，我们提出了一种方法来自动生成这些提示并训练模型从音频和提示的组合中更好地学习情绪表示。使用声调、强度、说话速度和发音速度等与情绪相关的声学特性自动生成 ' 声学提示 '，通过对比学习目标将语音映射到相应的声学提示。我们在情绪音频检索和语音情绪识别上评估了我们的模型。结果表明，声学提示显著改善了模型在 EAR 中的性能，特别是在各种 Precision@K 指标上。在 Ravdess 数据集上，我们观察到 SER 的相对准确率提高了 3.8%。

    Oct, 2023

  • 口语客服对话中用户请求和抱怨的预测

    该研究通过使用 HealthCall 数据集，评估了自动预测用户请求类型和检测投诉等两项客户关系管理任务，并探索了 14 种特征集作为输入。结果显示，语言特征总是提供最佳结果，并且 Wav2Vec 2.0 特征似乎比 ComPaRe16 特征更适用于这两项任务。嗓音互动特征在使用仅六个特征时在投诉任务上取得了 57% 的成果。

    Jul, 2022

  • 从语音中学习情感表现

    本文探讨运用去噪自编码器来学习从语音中分离出言语内容以外的语调特征，实现从语音中学习情感的判别，包括基于时间窗口的快速傅里叶变换和梅尔频率倒谱系数等不同的输入方法和不同的自编码器结构，结果显示学习到的表示具备与优秀的特征提取器相当的能力。

    Nov, 2015