本文提出了一种有效的方法来偏置序列到序列神经机器翻译模型（NMT）的注意机制，使其趋向于研究过的词对齐模型。我们展示了我们的新型引导对齐训练方法如何在真实生活的电商文本翻译中提高了翻译质量，克服了许多未知单词和大型类型 / 令牌比。我们还表明，与输入文本相关的元数据（例如主题或类别信息）作为网络解码器部分的附加信号可显着提高翻译质量。有了这两个新功能，NMT 系统在一个产品标题集上的 BLEU 分数从 18.6 提高到 21.3％。通过将通用领域 NMT 系统进行领域适应也可获得更大的机器翻译质量提升。这个开发的 NMT 系统在 IWSLT 语音翻译任务中也表现良好，其中四个变体系统的集合比基线的基于短语的系统的 BLEU 分数提高了 2.1％。

Jul, 2016

本文着眼于多语种神经机器翻译模型在英语为中心的双语语料库上的训练，结合多方对齐的语料库重新构建了完整图模型，展示了该模型在多语种翻译中的有效性和竞争力。

Oct, 2020

通过对神经机器翻译实现对特定语言现象的质量评估，我们提出了一种新方法并给出了包含 97000 对用于 WMT 英语 -> 德语翻译任务的对照翻译数据集 LingEval97，对字符级别和字节对编码（BPE）分割模型的实验结果显示，前者在翻译转写方面表现更好，但在形态句法协议和翻译非连续的意义单元方面表现较差。

Dec, 2016

本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

Feb, 2022

我们提出了一种训练单一机器翻译模型的方法，该模型能够将单语句从一种语言翻译成另一种语言，并能够翻译混合语句到任意一种语言，以应对社交媒体和用户生成内容的崛起带来的语种切换翻译需求。该模型可被视为与人类类似的双语模型，并通过生成合成的混合语数据以及对编码器进行对齐损失来更好地使用并行数据。在使用 WMT14 英法数据集进行训练后，所训练的模型在混合语翻译中大幅优于双向基线模型，并且在非混合语（单语）数据上保持了质量。

Sep, 2023

该论文探讨了一种嫁接预训练语言模型和平行文本的方法来提高单词对齐质量的方法，提出了从这些微调模型中有效提取对齐信息的新方法，并证明了它们在五种语言对上优于之前的最先进模型，还演示了开源的具备预训练模型的 AWESOME 单词嵌入式多语言编码对齐器的实际性能

Jan, 2021

本研究提出了一种新的预训练目标 ALIGN-MLM，该目标通过辅助损失来引导不同语言中相似的词具有相似的词嵌入，实现跨语言转移学习中的单词嵌入对齐，此方法在机器学习中的应用具有广泛的前景。

Nov, 2022

本文探讨了神经机器翻译模型在实现翻译时，虽然目标是学习对齐和翻译，但其对齐质量难以解释。作者提出了一种模型无关的解释方法，能够提高对齐质量。

Jun, 2019

本文提出了一种新的对比对齐目标函数，主要应用于 OPUS 数据集，分析了单语和多语种上的效果，证明此方法优于以前的工作，但整体上，这些方法无法通过更强大的评估框架来提高性能，而更好的基础模型可以获得更好的性能。

Oct, 2020

通过利用翻译句子对齐内部句子表示，并通过回答不同语言的提示问题对齐模型输出，我们提出了一个简单而有效的对齐框架，显著增强了生成模型的跨语言能力并减小了性能差异。进一步分析表明，它导致了更好的多语言模型的内部多语言表示分布。

Nov, 2023