本文探讨了利用单一声学模型进行多种语言训练，以提高低资源语言的自动语音识别性能，并简化支持多种语言的ASR系统的部署。作者在51种语言上进行广泛的基准测试和比较，表明与单语言训练相比，多语言训练的ASR模型可以提高识别性能，特别是对于低资源语言。与单语言基线相比，联合模型、具有语言输入的联合模型和多头模型的平均WER相对减少20.9％、23％和28.8％。据我们所知，这是第一次研究超过50种语言和超过16,000小时声音跨其的多语言ASR的大规模研究。

Jul, 2020

本研究提出了 CLSRIL-23，一种基于自监督学习的音频预训练模型，可以在23种印度语言的原始音频中学习跨语言的语音表示。在预训练期间，将语言特定的语音表示分别比较以比较单语和多语预训练的效果。我们的实验证明，多语预训练优于单语预训练，能够学习对语言进行编码并在下游任务中达到更好的性能。

Jul, 2021

该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

Feb, 2022

使用预训练的wav2vec 2.0和MBART50模型，结合自适应权重技术，显著提高公共数据集上多语言语音识别的准确性，比纯监督学习提高44%。同时我们还探索了如何通过微调结构以获得最佳模型。

May, 2022

在多语种语音识别中，为了弥补低资源语言的数据匮乏，人们广泛使用多功能语音识别。 本文提出了一种新颖的混合DNN-HMM声学模型融合方法，实现了多种低资源语言的跨语音识别，且相对于多功能和单语基线，后验融合得到了14.65％和6.5％的相对收益。

Jul, 2022

本文研究了两个多语言语音模型在适应未见语言上的性能比较，发现模型的预训练数据中包含的语言家族数量和训练时长能预测模型的表现，与预训练方法的差异不相关。

May, 2023

使用预训练模型和多语言设置，提出了一种统一的方法来进行End-to-End语音语言理解，包括词槽填充，通过在可用的大规模语音识别数据上进行预训练，该方法在多个数据集和跨语言任务上取得了显著的性能提升。

Oct, 2023

利用自监督语音表示的微调和利用转录训练的n-gram语言模型增强多语言表示，相对于从头开始训练的混合模型，将代码切换数据的绝对词错误率降低了高达20%。研究结果表明，在训练数据受限的情况下，微调自监督表示是一种更优秀和可行的解决方案。

Nov, 2023

预训练的基于Transformer的语音模型在下游任务（如自动语音识别和口语语言识别）上表现出了令人瞩目的性能，但领域不匹配的问题仍然是一个挑战。为了解决这个问题，我们提出了自监督自适应预训练（SAPT）来适应下游任务的目标领域和语言。我们将SAPT应用于XLSR-128模型，并研究了该方法在SLID任务中的有效性。实验证明，SAPT在FLEURS基准测试中提高了XLSR的性能，尤其是对于少数语言，增益高达40.1%。我们还在少样本学习设置中对四个不同数据集应用了SAPT，结果显示我们的方法提高了XLSR的样本效率。我们的实验证据强有力地证明，通过自监督实现持续自适应可以提升多语言语音模型的下游性能。

Dec, 2023

本研究针对低资源语言伊卡语，提出了一种成本效益高的自动语音识别(ASR)模型开发方法。通过对预训练的多语种wav2vec 2.0模型进行微调，结果表明该模型在仅用1小时训练数据的情况下取得了0.5377的字错误率和0.2651的字符错误率，展示了利用多语言预训练模型对低资源语言的潜力。

Oct, 2024