使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。

Jun, 2022

本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

Oct, 2022

本研究提出一种基于 Zero-Shot Adaptive Transfer 方法的领域自适应对话代理模型，通过利用槽位描述信息实现可重用概念在领域之间的迁移，并避免了显式概念对齐的训练复杂度，实验结果表明此模型在多达 10 个领域的数据集上性能显著优于之前的最优系统，特别在低数据情况下表现更出色。

Aug, 2018

本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

Oct, 2022

本文介绍了一种零射击跨语言主题模型，利用迁移学习来处理多个语言的数据集，以解决传统基于词袋的主题模型所面临的单语言或巨大而稀疏的词汇表等问题，并评估了在不同语言中同一篇文章的主题预测的准确性和连贯性，结果表明所转移的主题是连贯且稳定的，具有潜在的未来研究方向。

Apr, 2020

本文评估了几种基于自监督或弱监督的尖端大型基础模型（包括 SeamlessM4T、SeamlessM4T v2 和 Whisper-large-v3）在三个混合代码语料库上的表现。我们发现自监督模型可以达到接近受监督模型的性能，表明多语言自监督预训练的有效性。我们还观察到这些模型在建模句内代码切换方面仍有改进空间，常犯相似错误并在代码切换任务的性能上表现不理想。此外，我们探索了 Whisper 的几种变体的有效性，并得出结论它们在代码切换场景中仍然有效，鼓励研究类似的自监督模型技术以提升代码切换任务的性能。

Dec, 2023

本文探究了迁移学习在问题回答方面的应用，使用两种问题回答模型，在 TOEFL 和 MCTest 数据集上通过简单的迁移学习技术从 MovieQA 数据集中学到的知识显著提高了性能，尤其是其中一种模型在所有目标数据集上取得了最佳效果，对于 TOEFL 听力理解测试，它的性能比以前的最佳模型提高了 7%。最后，我们证明了即使在目标 QA 数据集示例的正确答案不可用的无监督情况下，迁移学习也是有帮助的。

Nov, 2017

本论文提出了在数据集特定方式下通过对预训练模型进行微调以实现摘要生成的新型通用方法 - WikiTransfer，并使用循环全球翻译的数据扩增和正则化来提高性能，最终在 CNN-DailyMail 数据集上取得了最先进的性能

Oct, 2020

通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

Oct, 2023

使用单一生成模型在大规模上生成多语言问题和答案对，通过多任务训练的生成模型来改进跨语言 QA 模型的零 - shot 表现，并在各种语言的 XQuAD 数据集上实现了较大的性能提升。

Oct, 2020