本文探讨了如何在有限数据的情况下，使用少量样本跨语言迁移学习和多任务学习来进行开放域对话生成，同时发现了这两种方法在实验中的灾难性遗忘问题，并提出了一种简单有效的提示学习方法，以应对这一问题。实验结果表明，该方法在六种语言中均表现出了较好的效果。

May, 2023

本研究针对零样本跨语言转移中生成任务的中文输出质量不高、甚至有时会输出错误语言的问题，提出了一种用于正则化模型的简单方法和一种用于在不需要目标语言开发集的情况下选择模型检查点的方法，实验证明该方法使得 ROUGE-L 分数平均提高 1.5，同时将意外翻译问题减少了 68%。

May, 2023

比较两种基于适配器方法和参数微调的跨语言迁移策略，评估其在少资源语言中的性能和跨语言知识遗忘情况，并发现中间训练策略在目标语言上表现优于跨语言验证策略。

Sep, 2023

零 - shot 跨语言生成的前提是在一个语言上对多语言预训练语言模型进行微调，并将其用于其他语言的生成任务中。先前的研究注意到生成错误语言的频繁问题，并提出了解决方法，通常使用 mT5 作为基础模型。本研究在统一设置下比较了文献中提出的各种方法，还包括 mBART 和 NLLB-200 作为备用基础模型。我们首先强调了微调中使用的学习率调整的重要性，这有助于大幅减轻生成错误语言的问题。然后，我们展示了通过仔细调整学习率，简单的模型全面微调作为一个非常强大的基准，备选方法带来的只是微小的改进。最后，我们发现 mBART 的性能与相同大小的 mT5 相似，并且在某些情况下，NLLB-200 可以有竞争力。我们的最终模型达到了基于数据翻译的方法的性能水平，这通常被视为零 - shot 跨语言生成的上限基准。

Feb, 2024

本文介绍了一种零射击跨语言主题模型，利用迁移学习来处理多个语言的数据集，以解决传统基于词袋的主题模型所面临的单语言或巨大而稀疏的词汇表等问题，并评估了在不同语言中同一篇文章的主题预测的准确性和连贯性，结果表明所转移的主题是连贯且稳定的，具有潜在的未来研究方向。

Apr, 2020

通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

Oct, 2023

本论文探讨采用跨语言预训练的零样本方法来学习多模态表示，提出建立跨语言图像检索模型的简单实用方法，并引入了一种新的目标函数来测试多语言 MSCOCO2014 字幕测试数据集（XTD10）的零样本模型性能，证明跨语言模型可用于零样本的下游任务， 如多语言图像标记。

Sep, 2021

本论文研究在一种包含 51 种语言和分类、序列标记任务的大规模多语言持续学习框架中，灾难性遗忘问题以及最小化此问题的方法，提出了一种学习率调整方法 LR ADJUST，其能有效地保留新信息而不过度覆盖过去的知识，并且该方法在多种持续学习方法中都行之有效。还进一步深入分析了该大规模多语言环境下灾难性遗忘的动态过程。

May, 2023

该论文介绍了一种使用跨语言预训练进行零 - shot 学习的多模式语言和视觉问题解决方法，它可以用于构建跨语言图像检索模型和改进文本嵌入聚类，并在多语言环境下进行评估。

Nov, 2020

本文对于使用不同语言进行零样本跨语言转移的多语言模型进行了研究，发现高资源语言如德语和俄语在多数情况下能够更加有效地进行迁移学习，即使训练集是自动从英语翻译而来。同时，该结论对于多语言零样本系统有着重要影响，并且应该指导未来的基准设计。

Jun, 2021