该研究探讨了使用去噪词对齐作为新的跨语言预训练任务的方法，通过在双语对中进行自我标注的单词对齐，结合指针网络来预测清理片段中被屏蔽的单词及其在另一种语言中的对应单词，并在期望值最大化的方式下交替进行两个步骤，实验结果表明该方法在各种数据集上提高了跨语言可传递性。

Jun, 2021

提出一种基于多语言预训练模型的词语对齐方法，通过在浅层中利用共享的自注意力模块，将源语句和目标语句单独编码，而在较高层通过交叉注意力模块显式地构建跨语言交互，达到提高词语对齐质量的效果。通过采用两阶段训练框架，实现对模型的有效训练，实验结果在五对语言中有四对的性能达到了最新水平。

Oct, 2022

本文提出使用第三方词对齐器生成的单词对齐来监督神经单词对齐训练，在微调预训练的跨语言语言模型时，目标是让每个单词对的源语言单词和目标语言单词在情境化的嵌入空间中成为彼此相邻的接近邻居，实现自我训练并在各种语言对的基准测试中获得最先进的单词对齐性能。

Nov, 2022

本文提出了一种基于跨语言跨度预测的新型监督词对齐方法，使用基于多语言 BERT 的 SQuAD v2.0 风格问答任务解决了此问题，并在中英、日、德、罗、法等五个词对齐数据集上实验证明，该方法显著优于以前的监督和非监督方法，而无需使用双语语料进行预训练。

Apr, 2020

本文提出利用训练句子对齐来提高神经机器翻译的关注或对齐准确性，通过将机器关注与 “真实” 对齐之间的距离计算，并在训练过程中最小化此代价，我们的实验证明，相对于大型词汇神经机器翻译系统，我们的模型显著提高了翻译和对齐质量，超越了最先进的传统基于语法的系统。

Jul, 2016

利用新型鉴别性词汇对齐模型，结合变压器机器翻译模型，在少量标注例子下评估英汉及英阿拉伯语言对齐，相比无监督基线模型性能得到提升（11-27 F1）。外部方面，通过对中文命名实体识别（NER）标签的投影，我们验证了对齐模型的有效性。最后，进行消融分析和注释实验，支持未来手动对齐的使用可行性和实用性。

Sep, 2019

本论文研究了注意力机制在神经机器翻译中生成对齐的问题，并从重新排序方面分析和解释了这个问题。提出了一种受传统对齐模型指导学习的监督注意力机制，实验表明，这种机制比标准注意力机制产生更好的对齐效果，并且在中英文翻译任务中均有显著提高。

Sep, 2016

该论文介绍了一种名为 SelfSeg 的自监督神经子词分割方法，它比传统的字节对编码（BPE）更快，只需要单语词典而不需要平行语料库，并且在实验中表现出更好的性能。

Jul, 2023

提出一种基于 Transformer 架构的简单模型扩展，利用其隐藏表示，仅限于对编码器信息进行注意以预测下一个单词，进一步介绍了一种新的对齐推断过程，直接将目标词的注意力激活率优化为对齐结果，这种对齐方法在两个公开数据集上明显优于 naive 方法，并且与 Giza++ 相当。

Jan, 2019

本研究提出了一种基于神经网络的简单的词对齐模型，使用源和目标语窗口表示，计算句子对之间的对齐分数，并使用聚合操作来确定目标词的对齐得分。通过使用软边距目标，该模型能够提高真正的目标词的分数，降低不存在的目标词的分数，并在英捷克、罗马尼亚 - 英语和英法对齐上比 Fast Align 模型提高 7、6 和 1.7 AER 对齐准确性。

Jun, 2016