本研究使用已训练好的 mBERT 模型对英语模型进行零样本迁移，并尝试采用小型平行语料库进行跨语言调整以提高性能表现，结果表明跨语言调整对不同语言的自然语言处理任务表现效果显著，且可以提高语义相似词汇的嵌入向量距离。

Apr, 2022

通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

Nov, 2023

本文分析了不同形式的跨语言监督和各种对齐方法对 Multilingual BERT 在零 - shot 设置下的转移能力的影响，比较了平行语料库 vs. 字典导向的监督和旋转 vs. 微调对齐方法，针对两个任务（名称实体识别和语义槽填充），我们评估了不同对齐方法在八种语言上的性能，并提出了一种新的规范化方法，该方法不断改进基于旋转的对齐性能，特别是远距离和在语言类型上不同的语言。此外，我们还发现对于任务和转移语言的接近程度，不同的对齐方法存在偏差，平行语料库的监督力度通常优于字典对齐。

Sep, 2020

本文提出一种跨语言句子表示的学习方法，介绍了双轴转移的训练策略，并通过实验表明这种策略可以应用于获取具有多语言对齐的句子表示。

Apr, 2021

提出一种基于多语言预训练模型的词语对齐方法，通过在浅层中利用共享的自注意力模块，将源语句和目标语句单独编码，而在较高层通过交叉注意力模块显式地构建跨语言交互，达到提高词语对齐质量的效果。通过采用两阶段训练框架，实现对模型的有效训练，实验结果在五对语言中有四对的性能达到了最新水平。

Oct, 2022

多语言大型语言模型通过隐式对齐语言和神经元重叠达到零 - shot 跨语言转移性能，本研究使用内在探测技术通过检查点观察到神经元重叠和下游性能之间的高相关性，同时探测到预训练过程中隐式对齐和多语言能力的退化现象，为多语言预训练动态提供了新的见解。

Jun, 2024

本文研究了两种多语言文本学习方法，即 alignment 和 joint training，并提出了将这两种方法结合的框架。实验证明，该框架改善了现有方法的局限性，在 MUSE 双语词汇诱导（BLI）基准测试中性能优于现有方法，并在 CoNLL 跨语言 NER 基准测试上产生了最新的结果。

Oct, 2019

近年来，跨语言对齐是多语言语言模型研究的一个活跃领域。本文概述了改进跨语言对齐的技术方法，并总结了该领域的见解。我们提供了对大量论文的定性总结结果。最后，我们讨论了这些见解不仅适用于已经深入研究这一主题的编码器模型，还适用于编码器 - 解码器甚至只有解码器的模型，并指出平衡语言中立和语言特定信息的有效权衡是关键。

Apr, 2024

本研究提出了一种新的预训练目标 ALIGN-MLM，该目标通过辅助损失来引导不同语言中相似的词具有相似的词嵌入，实现跨语言转移学习中的单词嵌入对齐，此方法在机器学习中的应用具有广泛的前景。

Nov, 2022

本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

Jan, 2021