本文提出了一种针对双语混杂文本的语言模型的新方法，即双语言模型，该方法使用单一语言模型的结构来改进标准的双语言模型，并将两个互补的单一语言模型结合在一起，以概率切换模型进行切换。我们使用一种会话式汉英语音语料库评估了该方法的有效性，并证明了我们的模型的鲁棒性，表明在不使用任何外部信息的情况下，在困惑度措施和自动语音识别错误率方面都会显著提高。

Nov, 2017

本文介绍了一种新的聚合分词器方法，用于训练双语和混合语音自动语音识别模型，从而消除了获得语料库的限制，并演示了这种方法的有效性。

Jun, 2023

本文基于等价约束理论提出了一种语言相关的注意机制，将单语数据转化为多语数据应用于端到端的自动语音识别中，获得了相对误差减少 17.12% 的优异性能。

Jan, 2022

本文研究语言建模在代表代码切换语言的语境下在自动语音识别（ASR）中所存在的难题，针对三个难点分别提出解决方案：如何从缺乏大规模训练数据、ASR 系统中与语言建模相关的性能测试的实现方法以及基于生成式模型所存在的缺陷，我们构建了一个独立于 ASR 系统和词汇选择的评估数据集和评估方式，并采用一种判别式训练方法，证明其比生成式更加有效。最后，我们探索了多种训练协议，并验证了使用大量单语数据随后加上小量的代码切换数据来进行精调训练的可行性。

Oct, 2018

本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

Mar, 2022

本研究探讨了如何针对混杂语音优化基于神经传递器的双语自动语音识别系统，发现半监督训练和合成的混合开关数据可以改善这一系统的性能。同时，我们分析了每个神经传递器编码器对混合开关性能的影响，并在 ASCEND 数据集上评估了我们的英语 / 普通话系统，其混合错误率为 25％，较文献节省 2.1％，同时保持好的单语测试集准确性。

Oct, 2022

本文提出了在代码转换的语音中有效地微调大型预训练多语言语音模型的方法，并将代码转换建模为一系列潜在的二进制序列，以引导每个语言适配器在帧级别上的信息流，通过在阿拉伯语、普通话和印地语等多种语言与英语配对的数据集上的评估，显示出代码转换性能的持续改进，至少可以将语音识别错误率 (CER) 降低 10％。

Oct, 2023

本文通过混合 CTC-Attention 模型，不同建模单元，语言识别以及不同解码策略等对汉英混合口语识别任务进行了研究，并在 SEAME 语音库上实现了 34.24% 的混淆误差率。

Oct, 2018

该研究以机器翻译和自动语音识别系统为基础，探索埃及阿拉伯语和英语的代码切换现象，并提供了关于开发这些系统的方法学，使用了 LLama 和 Gemma 等大规模语言模型。该研究实验了 Whisper 模型在代码切换的埃及阿拉伯语识别中的应用，详细介绍了数据预处理和训练技术等实验过程。通过将自动语音识别与机器翻译相结合的连续语音转文本翻译系统的实现，研究旨在克服有限资源和埃及阿拉伯语方言的独特特点所带来的挑战。通过与已有指标的评估，我们的方法在英语翻译方面取得了 56% 的显著提高和 9.3% 的阿拉伯语翻译提高。由于代码切换在口头语言中是根深蒂固的，自动语音识别系统能够有效处理这一现象至关重要。这种能力对于实现各个领域的无缝交流至关重要，包括商务谈判、文化交流和学术讨论。我们的模型和代码可作为开源资源使用。

Jun, 2024

通过在自动语音识别模型的编码器的中间层引入语言识别信息，本文旨在以更加隐式的方式生成暗示语言区别的声学特征，降低模型在处理语言切换时的混淆。

Dec, 2023