本文研究如何在只有英文标记数据的情况下，在目标语言中执行生成任务，以 summarization 作为案例研究。研究发现了通用的迁移学习方法在这种情况下存在困难，并且展示通过 prompt tuning 等方法可以实现跨语言生成。

May, 2022

通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

Oct, 2023

零 - shot 跨语言生成的前提是在一个语言上对多语言预训练语言模型进行微调，并将其用于其他语言的生成任务中。先前的研究注意到生成错误语言的频繁问题，并提出了解决方法，通常使用 mT5 作为基础模型。本研究在统一设置下比较了文献中提出的各种方法，还包括 mBART 和 NLLB-200 作为备用基础模型。我们首先强调了微调中使用的学习率调整的重要性，这有助于大幅减轻生成错误语言的问题。然后，我们展示了通过仔细调整学习率，简单的模型全面微调作为一个非常强大的基准，备选方法带来的只是微小的改进。最后，我们发现 mBART 的性能与相同大小的 mT5 相似，并且在某些情况下，NLLB-200 可以有竞争力。我们的最终模型达到了基于数据翻译的方法的性能水平，这通常被视为零 - shot 跨语言生成的上限基准。

Feb, 2024

分析了 massively multilingual transformers 在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的 few-shot transfer 在多语言转换中十分有效。

May, 2020

本文系统性地探讨了在多语料库上预训练语言表示模型的情况下，零 - shot 跨语言转移学习在阅读理解任务中的应用，并通过实验结果表明，使用预训练的语言表示模型可以实现零 - shot 学习，无需将源语言数据转换为目标语言，因为这样做甚至会降低模型的性能。研究还进一步探讨了模型在零 - shot 情况下的学习效果。

Sep, 2019

通过研究，我们发现使用预训练的多语言编码器进行零样本跨语言转移时，可能会产生高方差的不可靠模型，这是由于零样本跨语言转移解决了欠约束的优化问题，而线性插值模型可以同时对源语言和目标语言进行较好地建模，因此可以作为更好的方案。此外，零样本解决方案位于目标语言错误泛化表面的非平坦区域，导致了高方差。

Jul, 2022

本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

Jan, 2021

在跨语言零样本设置中，探索了一组有效且可靠的度量，以计算语言模型的泛化能力相关信息，并提出了一种稳定的算法来可靠计算模型最优解的锋利度与泛化之间的相关性。

Apr, 2024

本文介绍了一种零射击跨语言主题模型，利用迁移学习来处理多个语言的数据集，以解决传统基于词袋的主题模型所面临的单语言或巨大而稀疏的词汇表等问题，并评估了在不同语言中同一篇文章的主题预测的准确性和连贯性，结果表明所转移的主题是连贯且稳定的，具有潜在的未来研究方向。

Apr, 2020

CrossAligner 是一种实现零 - shot 跨语言传递任务知识的有效方法，利用未标记并行数据进行学习对齐，其细调语言模型优于预期。

Mar, 2022