本文提出在多语种低资源场景下采用语言特定的预训练和词汇扩充以适应多语种模型并使用所提出方法对四种语言进行案例研究，结果显示这些方法可以显著提高性能，特别是在最低资源的情况下，并证明了模型的预训练数据与目标语言变体之间的关系的重要性。

Sep, 2020

本篇论文研究了是否可以利用大规模多语言语料库（multilingual BERT）上预训练的现成双向深度句子表征，开发出一种无监督的通用句法分析器，以支持低资源语言的处理。实验结果表明，我们的方法在六种真正的低资源语言中均优于 CoNLL 2018 语言特定系统，但仍存在一些限制，如句法分析精度仍然随训练语言的变化而变化，并且在某些目标语言中，零 - shot 转移在所有测试条件下都无法成功，这引发了人们对整个方法的普适性问题的担忧。

Oct, 2019

通过对各种语言和预训练条件进行的实验比较表明，联合无监督预训练和微调是一种有效的方法，可以在各种语言上提高句法分析的性能并实现新的最先进的结果。

Dec, 2018

本研究采用来自多任务学习的自动课程学习方法，旨在动态优化对于语法分析模型下游任务的性能，从而实现在低资源语言中的零样本情况下的跨语言迁移，表明这种方法比均匀和大小成比例采样更好。

Mar, 2022

本文讨论了使用预训练架构（而非解码）进行单语种全刻度句法分析（成分和依赖）的问题，并使用序列标注作为模型，探讨了不同词向量的句法敏感性。实验分析显示，使用预训练编码器的结果优于现有序列标记解析器，F1 评分为 93.5％（PTB）和 78.8％（EN-EWT UD）的限制条件下。

Feb, 2020

本文探讨了一种半监督的方法，通过添加双向语言模型的预训练上下文嵌入到 NLP 系统中用于序列标注任务，相比其他转移学习或添加标记数据和任务特定词典的方法，在命名实体识别和块分割等任务上实现了最先进的结果。

Apr, 2017

本文使用双仿射语义依赖分析器、大型预训练语言模型和公开可用的翻译模型解决了结构化情感分析的问题。对于单语言环境，作者考虑了在单个语料库上训练和跨语言模型上下文下训练。对于零样本场景，作者通过单词级别的翻译和合并训练数据来处理目标语料库。在后期评估阶段，作者还训练了交叉语言模型，而不是使用单词级别的翻译，并获得了更好的结果。

Apr, 2022

本文介绍了在半监督下对自然语言句子进行解析的工作，重点是去除词汇的依赖关系解析器的多源跨语言转移。首先，评估了树库注释风格对解析性能的影响，重点是介词附着风格。然后，我们提出了 KLcpos3，一种经验性的语言相似度测量方法，专门用于多源去词汇解析器转移中源解析器加权。最后，基于训练解析器模型的插值，引入了一种新的资源组合方法。

Jun, 2015

使用多语言模型进行依赖解析，通过使用多语言单词聚类和嵌入，令解析器能够在多种语言中进行有效解析，同时基于语言普遍规律和类型相似性实现跨语言推断，从而使其能够更有效地从有限的注释中进行学习。

Feb, 2016

本文提出了一种半监督文本分类的新型和简单的方法 - Delta-training，该方法使用先前预训练好的单词嵌入来初始化分类器的词嵌入，同时使用自训练框架的无标签数据和提前停止的方式来提高性能。

Jan, 2019