本文将多语言预训练模型转化为多语言句子编码器，通过对句子编码器进行探索，采用基于对比学习的简单而高效的方法，揭示了句子编码器隐含的跨语言词汇知识，进而提供了一种利用跨语言词汇的工具。

Apr, 2022

本研究提出了一种简单的方法，作为预训练后对多语种上下文嵌入进行对齐的步骤，以提高预训练模型的零 - shot 跨语言迁移能力。该方法通过最近提出的 Translation Language Modeling 目标在词级别上对嵌入进行对齐，并通过对比学习和随机输入洗牌在句子级别上进行对齐。在下游任务的微调中，使用英语进行句子级别的代码转换。在 XNLI 上，我们的最佳模型（从 mBERT 初始化）在零 - shot 设置上比 mBERT 提高了 4.7％，在使用少于 18％的相同平行数据和 31％的模型参数的情况下，实现了与 XLM for translate-train 相当的结果。在 MLQA 上，我们的模型胜过比我们多 57％参数的 XLM-R_Base。

Oct, 2020

本文研究了跨语言模型中影响句子级别对齐的语言和非语言因素，并使用 BERT 和 BiLSTM 模型和《圣经》作为语料库进行了比较分析，结果表明，词序一致性和形态复杂度一致性是跨语言性的两个最强的语言预测因素。

Sep, 2021

本研究旨在通过探究多种单语和跨语言表示学习方法，如掩码语言建模，翻译语言建模和双编码器翻译排名等，结合预训练的多语言模型来学习多语言句子嵌入，并成功将其用于多语言文本检索和机器翻译任务中。

Jul, 2020

该论文探讨了一种嫁接预训练语言模型和平行文本的方法来提高单词对齐质量的方法，提出了从这些微调模型中有效提取对齐信息的新方法，并证明了它们在五种语言对上优于之前的最先进模型，还演示了开源的具备预训练模型的 AWESOME 单词嵌入式多语言编码对齐器的实际性能

Jan, 2021

提出新的方法来对齐多语种嵌入，基于单语种嵌入模型中句子的相似性测量；实验证明我们的方法在多语种数据集上表现出色，优于现有的多语种嵌入方法和对比损失方法。

May, 2024

本文提出一种跨语言句子表示的学习方法，介绍了双轴转移的训练策略，并通过实验表明这种策略可以应用于获取具有多语言对齐的句子表示。

Apr, 2021

本研究提出了一种新的无监督方法，通过使用单语数据来获得跨语言句子嵌入，产生了合成平行语料库，使用预训练的跨语言掩码语言模型（XLM）对其进行微调以得到多语言句子表示，并在两个平行语料库挖掘任务上评估了表示的质量，结果表明，这种方法可以比基准 XLM 模型获得高达 22 个 F1 点的改进。此外，我们还观察到，单个合成的双语语料库能够改善其他语言对的结果。

May, 2021

本文探讨了使用 LASER 和 LaBSE 这两种预训练模型生成不受语言限制的句子嵌入，在挖掘大型数据集以生成低资源机器翻译平行语料库方面的应用。作者测试了这两种模型在提取两种相关的低资源非洲语言 Luhya 和 Swahili 的双语数据时的表现。实验结果表明，LaBSE 在两种语言上表现优于 LASER。只是两者在对 Luhya 数据进行零射击对齐方面的表现不佳，仅可分别取得 1.5％ 和 22.0％ 的成功对齐率。作者利用极少量的平行 Luhya 句子对嵌入进行微调后的实验表明，LaBSE 的对齐精度得到了显著提高，达到了 53.3%。此外，限制 cosine 相似度大于 0.7 的句子嵌入对进行对齐也可得到超过 85% 的准确率。

Oct, 2022

本文介绍了一种自适应双文本对齐系统 AIlign，它利用句子嵌入提取可靠的锚点来引导对齐路径，即使对于平行性不完整且不严格单调的文本也能够实现对齐。在多个数据集上的实验中，我们表明 AIlign 以准线性的复杂度实现了与现有技术水平等效的结果。此外，与 Vecalign 或 Bertalign 等最近的系统不同，AIlign 能够处理仅在局部满足平行性和单调性属性的文本。

Mar, 2024