本文介绍了一种将静态嵌入和上下文嵌入相结合的方法，通过提取 40 种语言的静态嵌入并使用 VecMap 校准来改善多语言表示，与此同时，应用新颖的持续预训练方法来进一步提高 XLM-R 的表示精度，并在多个复杂语义任务中展现出积极的效果。

Mar, 2022

本文提出一种无监督的跨语言嵌入转换方法，其中使用 Embedding-Push、Attention-Pull 和 Robust targets 来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零 - shot 跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。

Oct, 2022

本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

Jan, 2021

通过独立训练的编码器和解码器，通过共享的固定大小表示组合，可以在语音到文本翻译中取得竞争力的性能，本研究表明这种方法可以通过多语种训练进一步改进，我们观察到在零 - shot 跨模态语音翻译中显著提高，甚至在几种语言上胜过基于 XLSR 的有监督方法。

Oct, 2023

我们提出了一种称为自监督跨视图训练（SCT）的框架，以缩小大型和小型预训练语言模型（PLM）之间性能差距，并在 7 个语义文本相似性（STS）基准测试中通过与 5 个基准和最先进的竞争对手的比较，在参数数量从 4M 到 340M 范围内的 5 个 PLMs 上证明 STC 在 21 个案例中的 18 个中胜过竞争对手，对于参数少于 100M 的 PLMs 表现出色。

Nov, 2023

通过跨语言预训练的双语预训练方法，建立了通用编码器，将传递者和接受者的语言空间对齐，使得零翻译成为可能。实验结果表明，该方法显著优于强的基准线和各种多语言 NMT 方法。

Dec, 2019

本论文介绍了一种称为 WECHSEL 的新型方法，它可以在不同语言之间高效地转移预训练语言模型，通过使用基于子词的标记化和多语言静态词嵌入，WECHSEL 可以解决传统方法中在训练新语言时昂贵和耗时的问题，同时提高了跨语言参数传递的效果和可访问性。

Dec, 2021

本研究提出了 SixT，一种利用多语言预训练编码器（MPE）来促进神经机器翻译模型的跨语言迁移的方法。通过采用两阶段训练计划和位置解缠编码器以及容量增强解码器，SixT 在零基础多语言翻译任务上取得了比已有模型更好的结果。

Apr, 2021

通过使用预训练模型，我们提出了一种零样本跨语言转移的新方法，它能够在低资源语言上实现任务感知的双语信息对齐，并利用未标记数据进行自我训练，从而实现多种任务上的最新技术提升，无需并行语料库或翻译模型。

Oct, 2023

文章介绍了一种不需要共享词汇的方法，使用跨语言词嵌入来缓解语言间的词汇不匹配，注入人工噪声，从预训练数据轻松生成合成数据，并在五种低资源翻译任务中将纯 NMT 转移提高了 + 5.1% BLEU，优于多语言联合训练。

May, 2019