Jun, 2024

揭示隐藏因素：可解释的 AI 用于提升语音情感识别中的特征

PDF
TL;DR本研究提出了一种迭代特征增强方法来增强语音情感识别（SER）中机器学习模型的性能，并通过模型解释性实现了对情感决策的重要特征的识别和删除，对 SER 数据集的实验证明了该方法的有效性。
speech emotion recognitionmachine learningfeature selectionmodel explainabilityser benchmarks
发现论文，激发创造
  • 迭代特征增强用于可解释的语音情感识别

    本论文提出了一种基于高效特征工程方法的监督情感识别方法，通过特征评估循环中的 Shapley 值来提高特征选择和整体框架性能，以平衡模型性能和透明度。该方法在 TESS 数据集上在情感识别方面优于人的水平和现有的机器学习方法。

    May, 2024

  • 无监督表示在语音情感识别中改善有监督学习

    该研究提出了一种创新的方法，通过将自我监督特征提取与监督分类相结合，从较小的音频片段中识别情感，提高了人机交互的情感理解能力。

    Sep, 2023

  • 基于语音的情感识别特征选择增强和特征空间可视化

    本研究提出使用增强策略来提升语音情感识别的准确性，并使用两个数据集验证其有效性，比基准研究识别率分别提高了 11.5％和 13.8％。

    Aug, 2022

  • 使用深度神经网络进行波斯语音情感识别

    本研究利用各种深度学习和机器学习技术，通过对一个 Farsi/Persian 数据集的分析，研究了 Farsi 语言中的情感识别技术，取得了 65.20% 的 UA 和 78.29% 的 WA。

    Apr, 2022

  • 使用自监督特征进行语音情感识别

    本文介绍了一种基于自上而下加自下而上架构范式的端到端情感识别系统，构建了基于自我监督特征的情感识别实验，并研究了自我监督特征模型的微调、特征的聚合和后端分类网络之间的相互作用等领域。该单模只有语音的系统不仅取得了 SOTA 结果，而且也揭示了强大且经过精细调整的自我监督声学特征的可能性，使其达到类似于同时使用语音和文本模态的 SOTA 多模态系统所达到的结果。

    Feb, 2022

  • 如何在数据集间推广 SER 模型？一个全面的基准测试

    通过整合多个数据集、解决数据分布不均衡以及评估协议，本研究旨在推进语音情感识别技术的发展，以实现人机交互的增强。

    Jun, 2024

  • 解析情绪：针对语音情感识别的全面多语言研究

    使用八种语音表示模型和六种不同语言，该研究首次全面评估了基于 Transformer 的语音表示模型在跨多种语言的语音情感识别中的性能，并通过探索性实验揭示了这些模型的内部表征。实验结果表明，相较于使用所有层的语音模型特征的系统，仅使用语音模型最优层的特征平均降低了 7 个数据集上的错误率 32％。此外，还在德语和波斯语的语音情感识别方面取得了最新的成果，探测结果表明中间层的语音模型对于捕捉最重要的情感信息至关重要。

    Aug, 2023

  • 探索基于自监督多视角对比学习在有限标注下的语音情感识别

    提出了一种多视角的自监督学习预训练技术，用于改善情感识别在数据标注有限的情况下的性能，实验证明该框架能够提高业绩。

    Jun, 2024

  • 多门机制与神经架构搜索的多语言语音情感识别

    本文针对低资源语言，提出了一种语言特定的多预训练语音模型情感信息提取方法，设计了一种多领域模型，采用多门机制，并通过神经网络结构搜索模块为每种语言寻找特定的神经网络结构，并引入对比辅助损失来构建更可分离的音频数据表示。实验表明，该模型为德语和法语提高了 3％和 14.3％的准确率。

    Oct, 2022

  • 利用语音情感识别和推荐系统处理治疗聊天机器人中的负面情绪

    提出了一种通过增强语音感知能力来提升治疗聊天机器人对用户情绪理解和人性化回应的方法，该方法使用卷积神经网络（CNN）模型和 ShEMO 数据集的语音情感识别（SER）技术来准确检测和分类负面情绪，包括愤怒、恐惧和悲伤，并使用 SER 模型和 GloVe、LSTM 模型相结合的推荐系统生成个性化管理负面情绪的建议，同时将 GlowTTS 文本到语音模型整合到一起，使治疗聊天机器人能够用英语和波斯语将生成的建议以声音形式传达给用户，最终提高了英语和波斯语用户心理健康支持的交付效果。

    Nov, 2023