ICMLMay, 2024

迭代特征增强用于可解释的语音情感识别

PDF
TL;DR本论文提出了一种基于高效特征工程方法的监督情感识别方法，通过特征评估循环中的 Shapley 值来提高特征选择和整体框架性能，以平衡模型性能和透明度。该方法在 TESS 数据集上在情感识别方面优于人的水平和现有的机器学习方法。
speech emotion recognitionhigh-dimensional learningfeature engineeringexplainabilityshapley values
发现论文，激发创造
  • 揭示隐藏因素：可解释的 AI 用于提升语音情感识别中的特征

    本研究提出了一种迭代特征增强方法来增强语音情感识别（SER）中机器学习模型的性能，并通过模型解释性实现了对情感决策的重要特征的识别和删除，对 SER 数据集的实验证明了该方法的有效性。

    Jun, 2024

  • 无监督表示在语音情感识别中改善有监督学习

    该研究提出了一种创新的方法，通过将自我监督特征提取与监督分类相结合，从较小的音频片段中识别情感，提高了人机交互的情感理解能力。

    Sep, 2023

  • 基于语音的情感识别特征选择增强和特征空间可视化

    本研究提出使用增强策略来提升语音情感识别的准确性，并使用两个数据集验证其有效性，比基准研究识别率分别提高了 11.5％和 13.8％。

    Aug, 2022

  • 使用自监督特征进行语音情感识别

    本文介绍了一种基于自上而下加自下而上架构范式的端到端情感识别系统，构建了基于自我监督特征的情感识别实验，并研究了自我监督特征模型的微调、特征的聚合和后端分类网络之间的相互作用等领域。该单模只有语音的系统不仅取得了 SOTA 结果，而且也揭示了强大且经过精细调整的自我监督声学特征的可能性，使其达到类似于同时使用语音和文本模态的 SOTA 多模态系统所达到的结果。

    Feb, 2022

  • 如何在数据集间推广 SER 模型？一个全面的基准测试

    通过整合多个数据集、解决数据分布不均衡以及评估协议，本研究旨在推进语音情感识别技术的发展，以实现人机交互的增强。

    Jun, 2024

  • 探索基于自监督多视角对比学习在有限标注下的语音情感识别

    提出了一种多视角的自监督学习预训练技术，用于改善情感识别在数据标注有限的情况下的性能，实验证明该框架能够提高业绩。

    Jun, 2024

  • 在语音情感识别中使用谐振和打击成分的杠杆化 Mel 频谱图

    该研究通过对 Mel 谱图的谐波和打击性组成部分进行分析，提出了一个新的架构，包括特征映射生成器算法、基于 CNN 的网络特征提取器和多层感知器（MLP）分类器，研究有效的数据增强技术建立了丰富的混合特征映射，最终在 Berlin EMO-DB 数据库上取得了 92.79% 的测试准确率，结果优于之前使用 CNN-VGG16 的研究。

    Dec, 2023

  • 通过半监督联合学习进行隐私保护的语音情感识别

    本文提出了一种隐私保护、数据高效的基于联邦学习的语音情感识别方法，该方法结合有标记和无标记设备数据通过自我训练学习模型，实验结果表明该方法能够在低可用数据标记和高度非独立同分布的情况下学习出泛化性较强的模型，平均只需 10% 的标记数据就能达到 8.67% 的识别率提升。

    Feb, 2022

  • 利用自监督预训练的声学和语言特征进行连续语音情感识别

    本文研究音频和文本的预训练提取特征方法，使用 wav2vec 和 camemBERT 模型进行连续情感识别任务，同时采用 SEWA 数据集，证明 wav2vec 和 BERT 预训练特征的联合使用在处理连续 SER 任务中表现非常合适。通过实验证明，新方法的 CCC 值达到 0.825，而传统的 MFCC 和 word2vec 仅为 0.592。

    Nov, 2020

  • 使用不平衡的语音数据学习情感表示，用于语音情感识别和情感文本转语音

    本研究提出情感抽取器解决了在语音情感识别和情感语音合成等任务中因数据集不平衡带来的问题，并采用数据增强方法训练模型以提取出通用有效的语音情感表征，为情感语音合成任务提供更具表现力的语音。

    Jun, 2023