全自监督 ASR 联邦域适应

Mar, 2022

Federated Domain Adaptation for ASR with Full Self-Supervision

Junteng Jia, Jay Mahadeokar, Weiyi Zheng, Yuan Shangguan, Ozlem Kalinli...

TL;DR该论文介绍了一种用于在设备上进行 ASR 领域自适应的联合学习系统，使用自我标记和数据增强和过滤技术来提高强的 Emformer Transducer 的性能，并减少训练和网络成本。

Abstract

Cross-device federated learning (FL) protects user privacy by collaboratively training a model on user devices, therefore eliminating the need for collecting, storing, and manually labeling user data. While important topics such as the FL training algorithm, non-IID-ness, and Different

federated learning asr domain adaptation self-supervision data augmentation rnn transducer

发现论文，激发创造

自动语音识别的联邦表示学习

使用自监督学习和联邦学习相结合的方法，通过预训练 ASR 编码器来提高语音识别性能，并在隐私保护的条件下利用未标记语音数据集进行模型的改进。

Aug, 2023

借助联邦学习从用户校正中改进语音识别模型质量的反馈之礼

使用联邦学习的方法，从设备端用户的纠正中持续学习以解决自动语音识别模型在识别新时代术语方面的过时和陈旧问题。实验评估表明，该方法能够提高模型对新时代术语的识别能力，并保持整体语言分布的质量。

Sep, 2023

利用自我监督提升跨域语音识别能力

本文提出了一种系统的无监督领域自适应框架，利用自监督方法在预训练和微调范式中充分利用无标签数据，在解决提高自监督方法在异领域性能的同时，通过提出三种创新性的调整方法，有效地提高了自适应领域的性能。

Jun, 2022

利用差分隐私的联邦学习进行端到端语音识别

新论文提出了在自动语音识别中利用差分隐私实现联邦学习的模型，该模型通过对大型端到端变换器模型的架构设计、种子模型、数据异构性、领域转换和队友规模的影响等因素进行研究，实现了几乎最佳的联邦学习模型，同时应用差分隐私还能在用户级别保护用户隐私。

Sep, 2023

混合风格近似下的高效跨域联邦学习

我们介绍了一种在硬件受限环境中用于实现客户端适应性的隐私保护、资源高效的联邦学习概念。通过在源数据上进行服务器模型预训练，并在低端客户端上对目标数据进行细调，我们的方法通过从源域和目标域数据近似的实例级特征统计的概率混合来简化本地客户端适应过程。适应参数传回到中央服务器后进行全局聚合，初步结果表明我们的方法在保持竞争性性能的同时降低了计算和传输成本。

Dec, 2023

多假设 RNN-T 损失函数用于神经传输器的无监督微调和自学习

本文提出了一种新的方法，利用未标记的语音数据对递归神经网络转录器端对端自动语音识别系统进行无监督的微调和自我训练，其中包括引入多重假设 RNN-T 损失以缓解 ASR 错误对无标记数据的影响，并在 Librispeech，Wall Street Journal（WSJ），Aurora-4 和 CHiME-4 数据集上进行实验，显著提高了系统性能。

Jul, 2022

FedNST: 面向自动语音识别的联邦式噪声学生训练

提出了一种使用半监督 / 自监督学习方法的 FedNST 来训练具有私密和未标记用户数据的分布式自动语音识别模型的方法，并在模拟客户端和 LibriSpeech 数据集上进行了评估，相较于仅在服务器数据上训练的有监督基线模型，能够将相对字误率降低 22.5%。

Jun, 2022

无监督领域自适应语音识别与无监督错误校正

本文提出了一种无监督自适应错误校正方法，可以在未见过的领域中恢复由领域差异引起的语音识别错误，使用伪标记技术生成学习样本，在持续学习中以减少过度拟合，并使用编码器 - 解码器校正模型结合其他信息以进一步提高适应性，实验结果表明，该方法相对于未自适应的 ASR 系统显著降低了单词错误率，并可用于其他适应方法以带来额外的 10% 的性能提升。

Sep, 2022

语音基础模型的高效领域自适应

本论文采用自监督预训练方法 BEST-RQ，并使用 JUST Hydra 进行源域和无监督目标域数据的联合微调，将 FM 编码器适配器和解码器微调到目标域，使用少量带标记的域内数据，实现了在大规模 YouTube 和语音搜索任务中既数据又模型参数的高效性，在仅使用 2160 万个带标签的域内数据和 130.8 M 的微调参数的情况下，与另外 3 亿带标签的域内数据从头训练 731.1M 模型的效果相同。

Feb, 2023

基于非独立同分布数据的 ASR 解耦联邦学习

使用个性化联邦学习来解决非独立同分布数据集上的自动语音识别问题，该方法通过在本地保留一些层来学习个性化模型，并提出一种解离联邦学习，将计算负担移动到服务器端并通信安全高级特征而非模型参数，实验表明这两种方法可以与 FedAvg 相比降低 WER 2.3％-3.4％。

Jun, 2022