该研究探讨了使用去噪词对齐作为新的跨语言预训练任务的方法，通过在双语对中进行自我标注的单词对齐，结合指针网络来预测清理片段中被屏蔽的单词及其在另一种语言中的对应单词，并在期望值最大化的方式下交替进行两个步骤，实验结果表明该方法在各种数据集上提高了跨语言可传递性。

Jun, 2021

利用新型鉴别性词汇对齐模型，结合变压器机器翻译模型，在少量标注例子下评估英汉及英阿拉伯语言对齐，相比无监督基线模型性能得到提升（11-27 F1）。外部方面，通过对中文命名实体识别（NER）标签的投影，我们验证了对齐模型的有效性。最后，进行消融分析和注释实验，支持未来手动对齐的使用可行性和实用性。

Sep, 2019

本研究提出一种自监督的单词对齐模型 - Mask-Align，该模型利用目标序列上的完整上下文，在进行两步的处理，同时采用一种叫做漏洞关注 (leaky attention) 的注意力变体，对于特殊符号如句号，该变体有助于缓解跨项权重过高的问题，各项结果显示，该模型的性能优于以前的无人监督神经对齐器，同时取得了新的最优结果。

Dec, 2020

通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

Nov, 2023

跨语言句子嵌入领域最近取得了很大的进展，但是由于平行语料的稀缺性，对于低资源语言的研究相对滞后。本文表明当前模型中低资源语言的跨语言词表示与高资源语言的对齐程度明显不足。为了解决这个问题，我们引入了一种新的框架，通过使用现成的词对齐模型，显式地对英语和八种低资源语言之间的单词进行对齐。该框架包含三个主要的训练目标：对齐的单词预测、单词翻译排序，以及广泛使用的翻译排序。我们通过在双语检索任务上进行实验证明了我们的方法，该方法在低资源语言的句子嵌入上取得了显著的改进。此外，所提出模型在高资源语言上更广泛任务的竞争性表现凸显了其实用性。

Apr, 2024

该论文探讨了一种嫁接预训练语言模型和平行文本的方法来提高单词对齐质量的方法，提出了从这些微调模型中有效提取对齐信息的新方法，并证明了它们在五种语言对上优于之前的最先进模型，还演示了开源的具备预训练模型的 AWESOME 单词嵌入式多语言编码对齐器的实际性能

Jan, 2021

我们提出了一种双重对齐预训练框架 (DAP)，它结合了句级和令牌级对齐，用于跨语言句子嵌入，其中引入了一种表示翻译学习 (RTL) 任务来将翻译信息嵌入到令牌表示中。在三个跨语言基准测试上进行了广泛实验，表明我们的方法能够显著提高句子嵌入。

May, 2023

本研究介绍了一种在预训练大型语言模型时将自监督语言建模目标和受监督机器翻译目标混合的策略，并证明了该策略产生了具有更好上下文学习能力的模型。同时，为了解决混合比例的问题，本研究提出了一种简单而有效的策略。

May, 2023

使用翻译数据作为词表示模型的语义相关学习信号的源，利用翻译中的等价性作为分布式上下文进行联合嵌入和对齐，通过概率归一化的隐变量词汇对齐实现嵌入词，并比较上下文中的词的重叠度。应用于多个语义任务上获得了良好的性能表现。

Feb, 2018

本研究提出了一种新的预训练目标 ALIGN-MLM，该目标通过辅助损失来引导不同语言中相似的词具有相似的词嵌入，实现跨语言转移学习中的单词嵌入对齐，此方法在机器学习中的应用具有广泛的前景。

Nov, 2022