借助联邦学习从用户校正中改进语音识别模型质量的反馈之礼

Sep, 2023

借助联邦学习从用户校正中改进语音识别模型质量的反馈之礼

The Gift of Feedback: Improving ASR Model Quality by Learning from User Corrections through Federated Learning

Lillian Zhou, Yuxin Ding, Mingqing Chen, Harry Zhang, Rohit Prabhavalkar...

TL;DR使用联邦学习的方法，从设备端用户的纠正中持续学习以解决自动语音识别模型在识别新时代术语方面的过时和陈旧问题。实验评估表明，该方法能够提高模型对新时代术语的识别能力，并保持整体语言分布的质量。

Abstract

automatic speech recognition (ASR) models are typically trained on large datasets of transcribed speech. As language evolves and new terms come into use, these models can become outdated and stale. In the context of models trained on the server but deployed on edge devices, errors may

automatic speech recognition asr models language evolution federated learning fresh terms

发现论文，激发创造

自动语音识别的联邦表示学习

使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

Aug, 2023

FedNST: 面向自动语音识别的联邦式噪声学生训练

提出了一种使用半监督 / 自监督学习方法的 FedNST 来训练具有私密和未标记用户数据的分布式自动语音识别模型的方法，并在模拟客户端和 LibriSpeech 数据集上进行了评估，相较于仅在服务器数据上训练的有监督基线模型，能够将相对字误率降低 22.5%。

Jun, 2022

全自监督 ASR 联邦域适应

该论文介绍了一种用于在设备上进行 ASR 领域自适应的联合学习系统，使用自我标记和数据增强和过滤技术来提高强的 Emformer Transducer 的性能，并减少训练和网络成本。

Mar, 2022

语音转文本任务的高效个性化联邦学习

为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

Jan, 2024

使用联邦学习训练语音识别模型：质量 / 成本框架

本文提出使用联邦学习来训练语音识别模型，并通过对非独立同分布数据分布程度的调整来平衡模型质量和联邦训练计算成本之间的关系，并证明超参数优化和适当使用变分噪声可以弥补非独立同分布数据对模型影响的影响。

Oct, 2020

基于非独立同分布数据的 ASR 解耦联邦学习

使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题，该方法通过在本地保留一些层来学习个性化模型，并提出一种解离联邦学习，将计算负担移动到服务器端并通信安全高级特征而非模型参数，实验表明这两种方法可以与 FedAvg 相比降低 WER 2.3％-3.4％。

Jun, 2022

自动语音识别中的持续学习新词

基于自我监督的持续学习方法，在自动语音识别系统中识别新词时表现出增长性能，通过使用来自之前工作中的增强型记忆自动语音识别模型，通过偏置模型向滑动中的新词进行解码，并对检测到的新词使用推理，将包含这些新词的话语收集到自适应数据集中，对该集进行持续学习，通过调整加到每个模型的权重矩阵上的低秩矩阵权重。该方法在新词经常出现时获得递增性能（超过 80% 的召回率），同时保持模型的一般性能。

Jan, 2024

移动键盘预测的联邦学习

本研究使用分布式联合学习框架 Federated Learning 对一个智能手机虚拟键盘中的递归神经网络语言模型进行训练，证明了在无需导出用户数据到服务器的情况下，在客户端设备上训练语言模型是可行的，在此应用场景中，使用 Federated Averaging 算法进行的训练可以完成更好的预测记忆，这种联合学习的环境可以保护用户数据隐私，使用分布式训练与集中式聚合来将隐私保护的思路融入到训练过程中。

Nov, 2018

面向医学转录分析的联合多语言模型

该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。

Nov, 2022

FL4ASR 中优化器引起的平滑性的重要性：解密端到端 ASR 的联邦学习

本文使用联邦学习训练端到端自动语音识别模型，并研究了减小联邦学习与集中学习之间的词错误率差距的基本考虑因素，包括自适应优化器、改变连接主义时间分类权重的损失特性、模型初始化、模型的设置以及针对异构数据分布的联邦学习特定超参数。我们阐明了一些优化器通过引入平滑性而取得比其他优化器更好的效果，并总结了联邦学习在端到端自动语音识别模型中的适用性、趋势和最佳实践。

Sep, 2023