本研究探讨了如何将零 - shot 模型从高资源语言（一般是英语）迁移到其他语言，结果表明在不同语言的查询和文档中使用零 - shot 排名算法的有效性会降低。因此，我们提出利用双语词典生成人工混合语言的数据来训练排名模型，我们对从跨语言词嵌入和平行维基百科页面标题引导的词典进行了实验，最终在多语言、跨语言和单语言信息检索方面进行了评估。结果表明，使用代码切换可以在跨语言和多语言检索中带来一致且实质性的收益。

May, 2023

本研究通过对预训练语言模型处理混合语言文本的能力、模型捕捉混合语言文本的结构信息的变化性以及语义信息表达的一致性的研究，揭示了预训练语言模型在泛化到混合语言文本上的有效性，从而为这些模型在处理混合语言资源方面的能力提供了洞察。

Mar, 2024

本文提出了一种通过引入代码切换任务来减少跨语言场景下的数据和任务差异从而提高多语言序列到序列预训练语言模型（multilingual Seq2Seq PLMs) 的性能的方法，实验结果表明该方法显著优于以标准微调策略微调的基准模型 mBART，可以缩小跨语言句子表示的欧几里得距离，并且在计算成本方面没有太多的增加。

Apr, 2022

本文提出了一种通过多语言代码切换来增强 Transformer 的语言中立性的新方法，从而解决零样本学习中在未知目标语言下预测用户意图和检测相应选项的问题，并在多个语言上对 MultiATIS ++ 数据集进行实验，相较于现有技术，平均精度提高了 + 4.2％，F1 提高了 + 1.8％。通过收集英语和海地克里奥尔语的新人工标注推文数据集，本文将该方法应用于危机信息学。

Mar, 2021

提出了一种新的预训练方法 Code-Switching Pre-training（CSP），它通过利用源语言和目标语言之间的跨语言对齐信息来预先训练神经机器翻译模型，该方法通过无监督的词嵌入映射词典识别源语言和目标语言之间的单词替换，克服了传统模型的随机屏蔽单词的缺点。实验结果表明，该方法在无监督和有监督的机器翻译任务上都取得了显著提高。

Sep, 2020

本研究提出了一种基于多任务学习的语言模型，其共享语言的语法表示，从而利用语言学信息并解决低资源数据问题，通过同时学习语言建模和语音标记来识别代码切换点的位置并改进下一个词的预测，实验表明该方法在 SEAME Phase I 和 Phase II 数据集上的困惑度分别提高了 9.7% 和 7.4%，优于基于标准 LSTM 的语言模型。

May, 2018

本文提出了一种基于语料库翻译的新方法，通过从源标准 SRL 注释中构建高质量的目标语言训练数据集，以解决低资源语言缺乏注释数据集的挑战，并且得到了良好的效果。

Apr, 2020

本研究探讨了如何针对混杂语音优化基于神经传递器的双语自动语音识别系统，发现半监督训练和合成的混合开关数据可以改善这一系统的性能。同时，我们分析了每个神经传递器编码器对混合开关性能的影响，并在 ASCEND 数据集上评估了我们的英语 / 普通话系统，其混合错误率为 25％，较文献节省 2.1％，同时保持好的单语测试集准确性。

Oct, 2022

逐渐生成适度困难的混合码交换示例，以引导模型对更困难的混合码交换数据进行优化，并根据单词相关性评分设计了难度测量器、代码切换器和训练调度器。

Jun, 2024

提出了一种数据增强框架以生成多语言混合数据来微调多语言 - BERT 模型，从而实现将源语言和多个目标语言的表示进行对齐，相较现有方法，该方法无需依赖双语句子进行训练，并且只需一个训练过程即可对多个目标语言进行微调，对于 19 种语言的五项任务表现均明显提高。

Jun, 2020