本篇研究关注英语 / 西班牙语对话中出现的代码转换，探讨在语音翻译任务中采用级联和端到端、单向和双向等不同架构的模型表现，得出双向端到端模型表现良好的结论。

Apr, 2022

COSTT 是一种整体方法，可以将语音转文本的源转录文本和目标的翻译文本生成在单个解码器中，从而实现语音翻译的模型训练以充分利用大量的平行文本语料库。实验证明，该方法在三个主流数据集上表现优于或不逊于之前的最新方法。

Sep, 2020

本研究通过比较使用多语种和单语种模型进行语音识别的表现，提出了一种基于 wav2vec 2.0 的端到端多语种语音识别和混合语言识别技术，取得了印度诸多语言语音识别的较好效果。

Mar, 2022

本文研究提出一种简单而有效的数据增强方法，以在缺乏大量语料库的情况下训练多语言系统，进而提高 Code-Switching 语音的自动识别水平。通过将不同源语言的音频和相应标签连结在一起训练神经网络端到端 (E2E) 模型，实现在跨句子语言转换方面的提高。

Oct, 2022

我们提出了一种语言无关的端到端语音翻译模型（LAST），并提出了一种数据增强策略来提高代码切换性能。通过使用此模型，我们可以在处理多种语言混合的自然语音时，无需使用语言特定的语音识别和翻译组件，并显著减少延迟和错误率。

Oct, 2022

本文研究如何用神经机器翻译模型生成印地语 - 英语混合语种句子。通过预训练和使用合成数据来提高模型性能，生成的文本可用于数据增强，提高了语言模型任务和自然语言推理任务的性能，人工评估和客观指标的结果展现出了接近或优于印地语为母语的人群工作者生成的混合语种文本。

Jul, 2021

本文基于随机词汇替换和等价约束，利用对齐翻译对生成随机合法的混合语言内容进行零样本学习，以解决跨语言语音识别中数据稀缺性、语法结构复杂性和领域匹配问题，实验结果显示，所提出的方法在两个生态有效的混合语言测试集上相对降低了 65.5% 的语言模型困惑度和 7.7% 的 ASR WER，而采用等价约束的人类评估表明，80% 以上的内容质量足够。

Jan, 2022

本文关注代码切换社交媒体数据的机器翻译，在监督和非监督环境下提供了英语 - 印地语 - 英语（英 - 汉格利什）、英语 - 西班牙语 - 英语（英 - 西班格利什）和英语 - 现代标准阿拉伯语 - 埃及阿拉伯语（英 - 埃语）的语言对，分享了共同创作语言评估数据时的见解和挑战，并为共享任务中的所有语言提供了基线。在共享任务的排行榜中，共有来自 5 个不同团队的 12 个系统提交。其中最佳表现分别为英语到印地语的 12.67% BLEU 分数和现代标准阿拉伯语 - 埃及阿拉伯语到英语的 25.72% BLEU 分数。

Feb, 2022

我们提出了适用于电子商务应用的生产级代码混合印地语 - 英语 TTS 系统的方法。我们采用了一种以数据为导向的方法，通过利用各种语言的单语数据集。我们演示了在纯代码混合测试集上，这种单一脚本双语训练的效果很好。我们还通过 Tacotron2 + Waveglow 的设置对单说话人适应和多说话人训练进行了详尽的评估，结果显示前一种方法效果更好。我们还结合了迁移学习和仅解码器微调来提高性能。我们将这些方法与 Google TTS 进行了比较，使用我们提出的迁移学习方法获得了 CMOS 分数为 0.02。我们还进行了低资源语音适应实验，结果表明只需要 3 小时的数据就可以引入新语音。这凸显了我们预先训练模型在资源受限设置中的重要性。我们在大量的领域外纯代码混合句子上进行了主观评估，以展示系统的高质量。

Dec, 2023

该研究聚焦于实时交流中的语种转换问题以及第三种语言的翻译，并通过将现有数据集扩展到西班牙语和德语，训练了离线和实时语音翻译模型，并建立了基准结果。

Oct, 2023