通过半监督联合学习进行隐私保护的语音情感识别

Feb, 2022

通过半监督联合学习进行隐私保护的语音情感识别

Privacy-preserving Speech Emotion Recognition through Semi-Supervised Federated Learning

Vasileios Tsouvalas, Tanir Ozcelebi, Nirvana Meratnia

TL;DR本文提出了一种隐私保护、数据高效的基于联邦学习的语音情感识别方法，该方法结合有标记和无标记设备数据通过自我训练学习模型，实验结果表明该方法能够在低可用数据标记和高度非独立同分布的情况下学习出泛化性较强的模型，平均只需 10% 的标记数据就能达到 8.67% 的识别率提升。

Abstract

speech emotion recognition (SER) refers to the recognition of human emotions from natural speech. If done accurately, it can offer a number of benefits in building human-centered context-aware intelligent systems. Existing SER approaches are largely centralized, without considering use

speech emotion recognition federated learning privacy-preserving data-efficient iemocap dataset

发现论文，激发创造

无监督表示在语音情感识别中改善有监督学习

该研究提出了一种创新的方法，通过将自我监督特征提取与监督分类相结合，从较小的音频片段中识别情感，提高了人机交互的情感理解能力。

Sep, 2023

自动语音识别的联邦表示学习

使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

Aug, 2023

探索基于自监督多视角对比学习在有限标注下的语音情感识别

提出了一种多视角的自监督学习预训练技术，用于改善情感识别在数据标注有限的情况下的性能，实验证明该框架能够提高业绩。

Jun, 2024

使用自监督特征进行语音情感识别

本文介绍了一种基于自上而下加自下而上架构范式的端到端情感识别系统，构建了基于自我监督特征的情感识别实验，并研究了自我监督特征模型的微调、特征的聚合和后端分类网络之间的相互作用等领域。该单模只有语音的系统不仅取得了 SOTA 结果，而且也揭示了强大且经过精细调整的自我监督声学特征的可能性，使其达到类似于同时使用语音和文本模态的 SOTA 多模态系统所达到的结果。

Feb, 2022

半监督跨语言语音情感识别

本文提出一种基于半监督学习的交叉语言情感识别方法，使用卷积神经网络 (CNN) 和伪标签策略进行训练，在五种不同语言的数据上表现出鲁棒性。

Jul, 2022

资源约束下基于数据蒸馏的语音情感识别

通过合成、缩小和提炼数据集的方法，我们提出了一种数据蒸馏框架，以促进在物联网应用中高效开发情感语音识别模型。我们的实验表明，可以有效地利用提炼后的数据集来训练情感语音识别模型，并且性能与使用原始完整的情感语音数据集开发的模型相当。

Jun, 2024

基于神经结构学习的设备端语音情感识别知识迁移

提出了一种基于神经结构化学习的轻量化模型训练框架，能够在边缘设备上有效地实现语音情感识别，提高模型性能，并降低模型大小。

Oct, 2022

使用深度神经网络进行波斯语音情感识别

本研究利用各种深度学习和机器学习技术，通过对一个 Farsi/Persian 数据集的分析，研究了 Farsi 语言中的情感识别技术，取得了 65.20% 的 UA 和 78.29% 的 WA。

Apr, 2022

语音转文本任务的高效个性化联邦学习

为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

Jan, 2024

多任务半监督对抗自编码器用于语音情感识别

本文提出一种基于多任务学习的框架，通过利用大量的性别分类数据和说话人识别数据，结合采用对抗自编码器（AAE）进行半监督学习的方法，提高语音情感识别的性能，实现更高水平的情感识别表现。

Jul, 2019