自动语音识别的联邦表示学习

MMAug, 2023

Federated Representation Learning for Automatic Speech Recognition

Guruprasad V Rames, Gopinath Chennupati, Milind Rao, Anit Kumar Sahu, Ariya Rastrow...

TL;DR使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

Abstract

federated learning (FL) is a privacy-preserving paradigm, allowing edge devices to learn collaboratively without sharing data. Edge devices like Alexa and Siri are prospective sources of unlabeled audio data that

federated learning self-supervised learning automatic speech recognition privacy pre-training

发现论文，激发创造

探索面向通用音频理解的联邦自监督学习

通过将联邦学习（FL）与自监督学习（SSL）相结合，可以在不损害用户数据隐私的情况下利用音频数据进行通用音频理解。本文评估了在大规模非独立同分布（non-iid）数据生成的情况下，将特征匹配和预测式音频自监督学习技术与 FL 相结合的性能，提出一种名为 FASSL 的新型联邦自监督学习（F-SSL）框架，并通过广泛实验证明了 FASSL 的有效性和重要性，从而有助于获得最佳的全局模型。

Feb, 2024

语音转文本任务的高效个性化联邦学习

为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

Jan, 2024

FedNST: 面向自动语音识别的联邦式噪声学生训练

提出了一种使用半监督 / 自监督学习方法的 FedNST 来训练具有私密和未标记用户数据的分布式自动语音识别模型的方法，并在模拟客户端和 LibriSpeech 数据集上进行了评估，相较于仅在服务器数据上训练的有监督基线模型，能够将相对字误率降低 22.5%。

Jun, 2022

基于非独立同分布数据的 ASR 解耦联邦学习

使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题，该方法通过在本地保留一些层来学习个性化模型，并提出一种解离联邦学习，将计算负担移动到服务器端并通信安全高级特征而非模型参数，实验表明这两种方法可以与 FedAvg 相比降低 WER 2.3％-3.4％。

Jun, 2022

通过半监督联合学习进行隐私保护的语音情感识别

本文提出了一种隐私保护、数据高效的基于联邦学习的语音情感识别方法，该方法结合有标记和无标记设备数据通过自我训练学习模型，实验结果表明该方法能够在低可用数据标记和高度非独立同分布的情况下学习出泛化性较强的模型，平均只需 10% 的标记数据就能达到 8.67% 的识别率提升。

Feb, 2022

基于代表共享的可扩展协作学习

通过在线知识蒸馏使用对比损失的新方法，保证了参与者在不共享其输入数据的情况下学习相似类别的相似特征，并将平均最后隐藏层激活的特征表示发布到中央服务器，然后客户端使用对比目标在其个人模型中蒸馏其知识，从而比独立学习和其他联邦知识蒸馏 (FD) 方案提高了模型的效用，本框架在多个数据集上使用不同的模型架构进行了性能基准测试。

Nov, 2022

全自监督 ASR 联邦域适应

该论文介绍了一种用于在设备上进行 ASR 领域自适应的联合学习系统，使用自我标记和数据增强和过滤技术来提高强的 Emformer Transducer 的性能，并减少训练和网络成本。

Mar, 2022

借助联邦学习从用户校正中改进语音识别模型质量的反馈之礼

使用联邦学习的方法，从设备端用户的纠正中持续学习以解决自动语音识别模型在识别新时代术语方面的过时和陈旧问题。实验评估表明，该方法能够提高模型对新时代术语的识别能力，并保持整体语言分布的质量。

Sep, 2023

面向通信高效和隐私保护的联邦表示学习

本文探讨了在通信成本和隐私保护的限制下联邦表示学习的可行性。首先证明了自监督对比本地训练的鲁棒性，然后基于此提出了一种新的 Federated representation Learning 框架，使用相似度蒸馏对全局模型进行训练。我们通过一系列实验验证了这种方法的有效性，并表明在多种数据集上，尽管受到更严格的限制，它仍能够以可比较的结果实现多种设置下的性能。

Sep, 2021

LW-FedSSL：资源高效的逐层联邦自监督学习

提出一种层次化的联邦自监督学习方法 (LW-FedSSL)，通过在 FL 环境中利用资源丰富的服务器进行全局模型训练，以及在 FL 本地模型与全局模型之间建立紧密联系的表示对齐机制，实现了与端到端 FedSSL 相当的性能，同时显著降低客户端的资源需求。实验证明 LW-FedSSL 的内存需求较其端到端对应物少 3.3 倍，并且通信成本便宜 3.2 倍。同时，还探索了一种名为 Prog-FedSSL 的渐进训练策略，其在类似内存需求的情况下，通信成本便宜 1.8 倍，优于端到端训练。

Jan, 2024