通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

Oct, 2023

在小型训练集下，我们针对 neural seq2seq models 在 paradigm completion 的应用中性能低下提出了两种新方法：1. Paradigm transduction， 2. Source selection with high precision (SHIP)， 在 52 种语言的基准数据集上，我们相比之前的技术水平在最高达 9.71% 的绝对准确率上实现了优异表现。

Sep, 2018

本文提出一种方案，使用几个样本训练的神经网络和多语言 Transformer 基础模型之间协同作用的跨语言转移，以改进跨语言学习的性能，实验结果表明，我们的方法能够显著提高跨低资源语言与高资源语言之间的转移学习性能，进一步的结果证明了 meta-learning 的能力。

Jul, 2022

通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

Dec, 2019

CrossAligner 是一种实现零 - shot 跨语言传递任务知识的有效方法，利用未标记并行数据进行学习对齐，其细调语言模型优于预期。

Mar, 2022

分析了 massively multilingual transformers 在零射击跨语言场景中的局限性，并表明在资源匮乏和对比较遥远语言的情况下通过多语言转换的跨语言转移实际上不太有效。通过几个低级和高级自然语言处理任务的实验，确立了源语言和目标语言之间的语言相似度以及目标语言的预训练语料库的大小与转移性能之间的相关性。另外，研究表明通过在源语言上调整细节，再在目标语言上进行少量微调的 few-shot transfer 在多语言转换中十分有效。

May, 2020

本研究提出了一种新颖的基于跨语言词向量的神经网络模型，通过高覆盖的双语词典训练，利用跨语言模型转移的方法，针对低资源语言的注释预测问题提出了解决方案，并通过多种主动学习启发式方法，提升了该方法的性能。

May, 2017

本研究探讨了零资源语言的跨语言实体链接问题，利用高资源语言建立了基于字级别神经实体链接模型的枢轴式实体链接框架，实现了跨 54 种语言的零 - shot transfer，并在 9 种低资源语言上进行了实验，相比于基线系统，平均提高了 17% 的实体链接准确性。同时，文章还探讨了语言通用音韵表示的使用，在不同语言之间转移时将平均准确率提高了 36%。

Nov, 2018

本文提出一种多任务编码 - 解码模型，通过多语言领域内语料库和英文 - 逻辑形式对标数据，在没有平行语料的情况下完成跨语言的语义解析，模型加强了语言无关编码，显著优于传统基于翻译的算法，有时能与有监督模型的上线媲美。

Apr, 2021

通过利用音译和语言相似性，本研究构建了一个单一编解码器神经机器翻译系统，用于 Dravidian-Dravidian 多语言翻译和零翻译；通过限制词汇表使用优化传输技术，该模型在训练语言方向的 50％上达到了与大型基于引导的模型相差 3 个 BLEU 的分数。

Aug, 2023