本篇论文研究了是否可以利用大规模多语言语料库（multilingual BERT）上预训练的现成双向深度句子表征，开发出一种无监督的通用句法分析器，以支持低资源语言的处理。实验结果表明，我们的方法在六种真正的低资源语言中均优于 CoNLL 2018 语言特定系统，但仍存在一些限制，如句法分析精度仍然随训练语言的变化而变化，并且在某些目标语言中，零 - shot 转移在所有测试条件下都无法成功，这引发了人们对整个方法的普适性问题的担忧。

Oct, 2019

本文提出一种多任务编码 - 解码模型，通过多语言领域内语料库和英文 - 逻辑形式对标数据，在没有平行语料的情况下完成跨语言的语义解析，模型加强了语言无关编码，显著优于传统基于翻译的算法，有时能与有监督模型的上线媲美。

Apr, 2021

本研究采用来自多任务学习的自动课程学习方法，旨在动态优化对于语法分析模型下游任务的性能，从而实现在低资源语言中的零样本情况下的跨语言迁移，表明这种方法比均匀和大小成比例采样更好。

Mar, 2022

研究了多语言零 - shot 机器翻译中的稳定性问题，发现语言特定的次词分割会提高翻译性能，单独的中间语言反而降低零 - shot 翻译表现，但是 在 非英语语言配对中使用少量的平行数据可以有效减少对英语的偏见。

Nov, 2020

通过引入 Universal Dependencies 中的句法特征，特别是句子内的句法关系和句子间的句法关系，从而建立一个跨语言的 Inter-Sentence 依存图，并提出了一个 ISDG 编码器，能在无需跨语言训练的情况下显著提高零 - shot 的性能。

Dec, 2021

本研究探讨了零资源语言的跨语言实体链接问题，利用高资源语言建立了基于字级别神经实体链接模型的枢轴式实体链接框架，实现了跨 54 种语言的零 - shot transfer，并在 9 种低资源语言上进行了实验，相比于基线系统，平均提高了 17% 的实体链接准确性。同时，文章还探讨了语言通用音韵表示的使用，在不同语言之间转移时将平均准确率提高了 36%。

Nov, 2018

本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。

May, 2020

通过将多语言翻译问题重新构造为概率推理，定义了零 - shot 一致性的概念；引入了一种基于一致性约束的训练方法，鼓励模型在辅助语言中生成等效的平行句子翻译，最终我们测试了多种公共的零 - shot 翻译基准数据集，并证明基于一致性约束训练的 NMT 模型通常会在无监督翻译任务上取得 2-3 BLEU 的提高，而在监督翻译任务上的性能不会降低。

Apr, 2019

本文提出一种零样本方法，该方法可以在只在其他源域示例中进行训练的情况下解析看不见领域的话语，并通过词汇对齐分数和全局推理将槽替换为知识库常量，从而解决了当前语义解析器需要昂贵监督并且不能推广到新领域的问题。

Apr, 2018

本文使用双仿射语义依赖分析器、大型预训练语言模型和公开可用的翻译模型解决了结构化情感分析的问题。对于单语言环境，作者考虑了在单个语料库上训练和跨语言模型上下文下训练。对于零样本场景，作者通过单词级别的翻译和合并训练数据来处理目标语料库。在后期评估阶段，作者还训练了交叉语言模型，而不是使用单词级别的翻译，并获得了更好的结果。

Apr, 2022