本文基于随机词汇替换和等价约束，利用对齐翻译对生成随机合法的混合语言内容进行零样本学习，以解决跨语言语音识别中数据稀缺性、语法结构复杂性和领域匹配问题，实验结果显示，所提出的方法在两个生态有效的混合语言测试集上相对降低了 65.5% 的语言模型困惑度和 7.7% 的 ASR WER，而采用等价约束的人类评估表明，80% 以上的内容质量足够。

Jan, 2022

该研究以机器翻译和自动语音识别系统为基础，探索埃及阿拉伯语和英语的代码切换现象，并提供了关于开发这些系统的方法学，使用了 LLama 和 Gemma 等大规模语言模型。该研究实验了 Whisper 模型在代码切换的埃及阿拉伯语识别中的应用，详细介绍了数据预处理和训练技术等实验过程。通过将自动语音识别与机器翻译相结合的连续语音转文本翻译系统的实现，研究旨在克服有限资源和埃及阿拉伯语方言的独特特点所带来的挑战。通过与已有指标的评估，我们的方法在英语翻译方面取得了 56% 的显著提高和 9.3% 的阿拉伯语翻译提高。由于代码切换在口头语言中是根深蒂固的，自动语音识别系统能够有效处理这一现象至关重要。这种能力对于实现各个领域的无缝交流至关重要，包括商务谈判、文化交流和学术讨论。我们的模型和代码可作为开源资源使用。

Jun, 2024

该研究论文介绍了一种能够处理南非五种语言中发生的混合语（code-switching）的单一多语言自动语音识别系统。该系统在四个包含不同语言混合语言的语料库上进行训练，并通过语言模型的插值能够识别这五种语言的混合语，并在实验中展现出较高的准确率。

Jul, 2018

本文研究了一种面向代码交错语音的端到端语音识别技术，并利用神经网络语言模型和循环神经网络提高低资源情况下的识别性能。

Sep, 2019

该研究介绍了 ASRU 2019 普通话 - 英语代码转换语音识别挑战赛，旨在提高普通话 - 英语代码转换情况下的 ASR 性能。参与者可以使用 500 小时标准普通话语音数据和 240 小时普通话 - 英语混合语音数据。本文总结了三个跟踪中的结果以及系统性能，并讨论了模型训练和方法比较的其他细节。

Jul, 2020

本文通过混合 CTC-Attention 模型，不同建模单元，语言识别以及不同解码策略等对汉英混合口语识别任务进行了研究，并在 SEAME 语音库上实现了 34.24% 的混淆误差率。

Oct, 2018

本研究采用自注意力机制，设计了一个大型的多语言端到端语音识别系统，使用阿拉伯语、英语和法语训练。我们评估了该系统在处理单语言、多方言以及代码转换等方面的表现，并与当前最先进的系统进行了比较。结果表明，我们的模型强于最先进的单语言方言阿拉伯语和代码转换阿拉伯语语音识别系统。

May, 2021

本文研究提出一种简单而有效的数据增强方法，以在缺乏大量语料库的情况下训练多语言系统，进而提高 Code-Switching 语音的自动识别水平。通过将不同源语言的音频和相应标签连结在一起训练神经网络端到端 (E2E) 模型，实现在跨句子语言转换方面的提高。

Oct, 2022

本文介绍了 ISCSLP 2022 中英文混合自动语音识别（CSASR）挑战赛，包括训练集、开发集和测试集等数据，以及参赛队伍的表现和技术。其中获胜队伍在测试集上取得了 16.70% 的混合误差率（MER）表现，并且相对基准系统取得了 9.8% 的 MER 绝对改善。

Oct, 2022

本文提出了一种利用大型语言模型和自动语音识别所生成的假设列表来解决语码转换的问题的方法，通过低秩适配器实现假设到转录的映射，并且实验证明该方法显著提高了语码转换自动语音识别的准确性，并且大型语言模型在数据效率方面表现出色，为低资源语言中语码转换自动语音识别的数据稀缺问题提供了潜在解决方案。

Oct, 2023