本研究通过建模探索基于 Transformer 的多语言语言模型在零样本跨语言转移上的性能预测，并将其视为多任务学习问题，从而建立准确的预测模型。我们的方法还同时进行了特征选择，识别出对多个任务的零样本表现具有影响的共同特征。

May, 2022

研究在零样本场景下的大规模多语言语言模型（MMLMs）的标定问题，观察到很明显的误标定现象，在低资源语言或与英语语言类型不同的语种中尤为突出。进一步实证研究表明，温度缩放和标签平滑等标定方法能够在提高零样本场景下的标定过程中发挥良好作用，并发现少量样本数据能够显著降低标定误差。

Oct, 2022

通过研究，我们发现使用预训练的多语言编码器进行零样本跨语言转移时，可能会产生高方差的不可靠模型，这是由于零样本跨语言转移解决了欠约束的优化问题，而线性插值模型可以同时对源语言和目标语言进行较好地建模，因此可以作为更好的方案。此外，零样本解决方案位于目标语言错误泛化表面的非平坦区域，导致了高方差。

Jul, 2022

通过设计归一化方法来改进 Transformer 模型以实现对未在训练过程中出现的语言对进行零 - shot 机器翻译，此方法可使系统在 IWSLT 2017 多语言数据集中平均提高 2.23 BLEU 分数。

Jun, 2019

通过将广泛多样的监督数据集转换为易读提示集合的方式，使用预先训练的编码器 - 解码器模型进行多任务学习可以直接导致强大的零 - shot 表现，该方法能够在多个标准数据集上表现出比同类模型大多数情况下强 16 倍的性能，并在 BIG-bench 基准测试中的某些任务上表现出比同类型模型强 6 倍的性能。

Oct, 2021

本文提出了一种通过对抗样本和零样本跨语言转移失败案例进行联系的学习策略，采用对抗性训练和随机平滑这两种方法来训练多语言编码器更加强健的模型，实验结果表明，强健训练可以提高零样本跨语言数据分类任务中的性能，尤其在输入语句属于两种不同语言的情况下，改进更为显著。

Apr, 2021

本研究提出了一种能够有效缓解多语言神经机器翻译中面临的零翻译问题的方法。我们的改进主要在于移除编码器层中的残差连接，使模型表示更多地与特定语言对应。通过此种改进，我们在零翻译的任务上获得高达 18.5 个 BLEU 点的提升，而且在其他有监督的翻译中保持了高质量的表现。通过对隐藏层输出的详细检查，我们也表明了我们的方法确实能够获得更多的语言无关性。

Dec, 2020

本研究提出使用编码器 - 解码器框架来处理机器翻译的问题，在零样本情况和有直接数据的情况下，对输入记号进行修改并在编码器和解码器中包含源和目标语言的信号以提高性能，通过基于预训练模型或从头开始训练模型并使用所提出的设置从实验中得出改进结果，得出在内部数据集和 WMT 评估中模型表现的数字结果.

Aug, 2022

本研究提出多种 fine-tuning 编码器的方法，包括在辅助任务中 fine-tuning，构建新的主题分类任务，将主题分类目标直接整合到主题模型训练中，和继续预训练，实验证明在主题分类和主题模型中直接结合主题分类任务的编码器 fine-tuning 能够有效提高主题质量，同时对于跨语言转移来说，编码器 fine-tuning 是最重要的因素。

Apr, 2021

通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

Dec, 2019