FedNST: 面向自动语音识别的联邦式噪声学生训练

Jun, 2022

FedNST: 面向自动语音识别的联邦式噪声学生训练

FedNST: Federated Noisy Student Training for Automatic Speech Recognition

Haaris Mehmood, Agnieszka Dobrowolska, Karthikeyan Saravanan, Mete Ozay

TL;DR提出了一种使用半监督 / 自监督学习方法的 FedNST 来训练具有私密和未标记用户数据的分布式自动语音识别模型的方法，并在模拟客户端和 LibriSpeech 数据集上进行了评估，相较于仅在服务器数据上训练的有监督基线模型，能够将相对字误率降低 22.5%。

Abstract

federated learning (FL) enables training state-of-the-art Automatic Speech Recognition (ASR) models on user devices (clients) in distributed systems, hence preventing transmission of raw user data to a central server. A key challenge facing practical adoption of FL for ASR is obtaining

federated learning automatic speech recognition semi-/self-supervised learning distributed asr models fednst

发现论文，激发创造

自动语音识别的联邦表示学习

使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

Aug, 2023

借助联邦学习从用户校正中改进语音识别模型质量的反馈之礼

使用联邦学习的方法，从设备端用户的纠正中持续学习以解决自动语音识别模型在识别新时代术语方面的过时和陈旧问题。实验评估表明，该方法能够提高模型对新时代术语的识别能力，并保持整体语言分布的质量。

Sep, 2023

无噪音异构客户端的联邦学习谨慎学习

本篇论文提出了一种名为 FedCNI 的方法，通过使用噪声鲁棒局部求解器和强健的全局聚合器，在 Federated learning 的小规模本地数据集中解决标签噪声和类别不平衡带来的挑战，并在混合异构 FL 场景中实现了比现有技术更好的性能。

Apr, 2023

语音转文本任务的高效个性化联邦学习

为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

Jan, 2024

联邦噪声客户端学习

本文通过研究噪声客户端带来的问题，并量化了其对不同层学习的影响，提出了一种名为 Fed-NCL 的框架来进行鲁棒性联邦学习，并通过鲁棒的层级聚合和标签修正来解决由噪声客户端引起的数据异质性问题，实验结果表明，该算法提高了带有噪声客户端的各种最新系统的性能。

Jun, 2021

带有嘈杂用户反馈的联邦学习

本文探讨了在联邦学习（FL）中使用用户反馈进行标记和降噪以提高 ML 模型性能的新方法，通过两个文本分类数据集的实验表明该方法在保护隐私的同时提高了模型的性能。

May, 2022

基于非独立同分布数据的 ASR 解耦联邦学习

使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题，该方法通过在本地保留一些层来学习个性化模型，并提出一种解离联邦学习，将计算负担移动到服务器端并通信安全高级特征而非模型参数，实验表明这两种方法可以与 FedAvg 相比降低 WER 2.3％-3.4％。

Jun, 2022

联邦剪枝：利用联邦学习提高神经网络的效率

提出了基于联邦式剪枝的方法，以在维持相似性能的同时，在联邦学习的环境下训练模型并解决自动语音识别模型所面临的诸多难点，如隐私问题、计算和通信资源等。

Sep, 2022

全自监督 ASR 联邦域适应

该论文介绍了一种用于在设备上进行 ASR 领域自适应的联合学习系统，使用自我标记和数据增强和过滤技术来提高强的 Emformer Transducer 的性能，并减少训练和网络成本。

Mar, 2022

FedNoisy：联邦噪声标签学习基准

本文提供了一种标准化的基准测试来评估在不同的联邦学习设置下嘈杂标签的影响，为研究人员探索联邦学习中可能出现的数据质量问题提供了帮助。此外还通过对超过 5 个数据集的 20 个基本设置进行的实验，探索了这些数据设置的特征，揭示了联邦嘈杂标签学习中的挑战性情况，为未来的方法开发提供了指导。

Jun, 2023