本文提出了一种通过多语言代码切换来增强 Transformer 的语言中立性的新方法，从而解决零样本学习中在未知目标语言下预测用户意图和检测相应选项的问题，并在多个语言上对 MultiATIS ++ 数据集进行实验，相较于现有技术，平均精度提高了 + 4.2％，F1 提高了 + 1.8％。通过收集英语和海地克里奥尔语的新人工标注推文数据集，本文将该方法应用于危机信息学。

Mar, 2021

逐渐生成适度困难的混合码交换示例，以引导模型对更困难的混合码交换数据进行优化，并根据单词相关性评分设计了难度测量器、代码切换器和训练调度器。

Jun, 2024

本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

Apr, 2022

本文提出了一种实体级别的语言混合方法（EntityCS），不仅可以避免语法错误，还可以提高四个实体中心下游任务的性能，在 Fact Retrieval 任务上最高可达 10%。

Oct, 2022

提出一种称为 SALT 的简单而有效的方法，结合了代码混合和嵌入混合自增强，通过从多语言预训练语言模型中提取跨语言知识并增强其在下游任务中的可转移性，改进了零射击跨语言转移能力，而无需外部数据。

Sep, 2023

本研究探讨了如何将零 - shot 模型从高资源语言（一般是英语）迁移到其他语言，结果表明在不同语言的查询和文档中使用零 - shot 排名算法的有效性会降低。因此，我们提出利用双语词典生成人工混合语言的数据来训练排名模型，我们对从跨语言词嵌入和平行维基百科页面标题引导的词典进行了实验，最终在多语言、跨语言和单语言信息检索方面进行了评估。结果表明，使用代码切换可以在跨语言和多语言检索中带来一致且实质性的收益。

May, 2023

本文提出了一种名为 MulZDG 的多语言学习框架，它利用从英语语料库中抽取的翻译话语来构建多语言代码转换对话数据集，并通过 MulZDG 来训练一个统一的多语言对话模型，可以实现不同语言之间的隐式语义对齐，对零样本对话生成和资源丰富的语言表现出竞争性的性能和显著的性能提升。

Aug, 2022

在一个名为，GLUECoS, 的评估基准中，使用多语境上下文嵌入模型进行评估，评估基准包括领域从文本中识别、POS 标记、命名实体识别、情感分析、问答和一项新的代码交换任务的多个自然语言处理任务。我们使用跨语言和多语言模型在所有这些任务上展示结果，并在人工生成的代码交换数据上微调多语言模型，结果表明多语言模型可以进一步针对代码交换任务进行优化，即使多语言模型比跨语言模型表现显著好，但我们的结果表明，在大多数任务中，无论是跨语言还是多种语言，微调代码交换数据上的多语言模型效果最佳。

Apr, 2020

本文基于随机词汇替换和等价约束，利用对齐翻译对生成随机合法的混合语言内容进行零样本学习，以解决跨语言语音识别中数据稀缺性、语法结构复杂性和领域匹配问题，实验结果显示，所提出的方法在两个生态有效的混合语言测试集上相对降低了 65.5% 的语言模型困惑度和 7.7% 的 ASR WER，而采用等价约束的人类评估表明，80% 以上的内容质量足够。

Jan, 2022

通过对比多个 LLM 模型，在机器翻译任务中，我们发现相对较简单的模型性能优于多语言大型语言模型，表明多语言大型语言模型在上下文代码切换方面的有效性受到训练方法的限制。与之相反，当相对较小的模型在定制的数据集上进行训练和微调时，可能会产生更好的结果。

Dec, 2023