多语言自学习语音表示改进资源有限的非洲语种混杂语音识别

EMNLPNov, 2023

多语言自学习语音表示改进资源有限的非洲语种混杂语音识别

Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching

PDF

Tolúlopé Ògúnrèmí, Christopher D. Manning, Dan Jurafsky

TL;DR利用自监督语音表示的微调和利用转录训练的 n-gram 语言模型增强多语言表示，相对于从头开始训练的混合模型，将代码切换数据的绝对词错误率降低了高达 20%。研究结果表明，在训练数据受限的情况下，微调自监督表示是一种更优秀和可行的解决方案。

Abstract

While many speakers of low-resource languages regularly code-switch between their languages and other regional languages or English, datasets of codeswitched speech are too small to train bespoke acoustic models

code-switching low-resource languages acoustic models language model rescoring self-supervised speech representations

发现论文，激发创造

面向多语言代码混合语音的自监督语音表示微调进行语言分离

探讨利用大型自我监督预训练架构（WavLM）从已经训练好的语音表示中提取信息，以发展连续多语言语言标示系统，用于多语言转换的标注过程，在南非五种语言（isiZulu、isiXhosa、Setswana、Sesotho 和英语）的语料库中展示出语言家族、语言群和个体语言的大幅改进。

Dec, 2023

跨语言自监督语音表征，提高口吃症患者的语音识别能力

使用预训练 Wav2Vec、Hubert 和 XLSR 模型的声学特征训练自动语音识别系统，对患有言语障碍的英语、西班牙语和意大利语使用者进行识别，结果表明相较于 Fbank 特征，使用 XLSR 特征可将识别错误率分别降低 6.8%、22.0% 和 7.0%。

Apr, 2022

零资源混合语言音频基准测试：使用语音句对进行多种口语语言测试

我们介绍了一个新的零资源代码切换语音基准，旨在直接评估自我监督语音编码器的代码切换能力。我们展示了一个以离散单元上的语言建模为基线系统，以演示如何以零资源的方式评估语音编码器的代码切换能力。我们的实验包括多种知名的语音编码器，包括 Wav2vec 2.0、HuBERT、XLSR 等。我们研究了预训练语言和模型大小对基准性能的影响。值得注意的是，尽管我们的结果表明，在代码切换场景中，具有多语言预训练的语音编码器（如 XLSR）优于单语变体（Wav2vec 2.0、HuBERT），但它们的代码切换语言能力仍有很大的改进空间。

Oct, 2023

本文评估了几种基于自监督或弱监督的尖端大型基础模型（包括 SeamlessM4T、SeamlessM4T v2 和 Whisper-large-v3）在三个混合代码语料库上的表现。我们发现自监督模型可以达到接近受监督模型的性能，表明多语言自监督预训练的有效性。我们还观察到这些模型在建模句内代码切换方面仍有改进空间，常犯相似错误并在代码切换任务的性能上表现不理想。此外，我们探索了 Whisper 的几种变体的有效性，并得出结论它们在代码切换场景中仍然有效，鼓励研究类似的自监督模型技术以提升代码切换任务的性能。

Dec, 2023

自我监督表示改善端到端语音翻译

本文旨在探索自监督预训练语音表示是否可以优化高和低资源语音翻译任务，并且这些语音表示是否可以有效地和其他常见的低资源端到端语音翻译方法相结合，以及这些表示是否可以良好地跨语种迁移。结果表明，自监督预训练功能可以始终提高翻译性能，并且跨语言传输可以扩展到各种语言而无需或只需要少量调整。

Jun, 2020

基于元迁移学习的混合语言语音识别

通过元迁移学习的新学习方法提取高资源单语数据信息，条件化优化混合语音识别数据，从而在低资源环境下实现混合语音识别，实验结果表明，我们的模型在语音识别和语言建模任务方面优于现有基线模型，并且收敛速度更快。

Apr, 2020

无监督跨语言表示学习用于语音识别

XLSR 是一种学习跨语言语音表示的模型，通过对多种语言的语音原始波形进行预训练来构建模型，上述模型建立在 wav2vec 2.0 的基础之上，可以使用单一模型完成多语言语音识别任务，并且具有更好的性能。

Jun, 2020

基于自监督预训练声学模型的多语言零资源语音识别

本文研究使用预训练模型来解决无监督语音识别中的音素和单词级别的问题。通过在 IPA 音素转写上微调预训练模型并使用语言模型进行解码，实验结果表明该方法可在某些语言上实现低于 20% 的单词错误率，8 种语言的平均错误率为 33.77%。

Oct, 2022

学习稳健且多语言的语音表征

本文旨在研究无监督语音表示学习在具备鲁棒性和可迁移性方面的表现，通过使用多样性和嘈杂的语音数据学习表示，并在多个语言中验证其鲁棒性和可迁移性。结果显示，该方法相比基线特征集在跨域转移和 25 种不同语言的语音识别上均有显著提升。

Jan, 2020

适用于印度语的代码转换和混合语音识别

本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

Mar, 2022