在机器翻译的下游应用中，术语的正确性非常重要，通过将术语约束注入翻译系统可以实现。本研究采用一种翻译后再优化的方法，可以实现跨领域且需要较少手动操作。我们通过使用从词对齐中获得的伪术语翻译来注释随机源词，首先训练一个术语感知模型。此外，我们还探索了两种后处理方法。第一，我们使用对齐过程来发现是否违反了术语约束，如果是，则使用负面约束对违反术语的词进行重新解码。或者，我们利用大型语言模型通过提供术语约束来优化假设。结果表明，我们的术语感知模型能够有效地学习并整合术语，而大型语言模型优化过程可以进一步提高术语的召回率。

Oct, 2023

该论文旨在介绍一种新的机器翻译解码算法 —— 词汇约束解码法，该算法能够快速而准确地在输出中包含预定的单词和短语，并探索模型与 BLEU 得分之间的关系，与此同时它还能够极大地优化计算复杂性。

Apr, 2018

本文探讨了神经机器翻译模型在实现翻译时，虽然目标是学习对齐和翻译，但其对齐质量难以解释。作者提出了一种模型无关的解释方法，能够提高对齐质量。

Jun, 2019

使用翻译数据作为词表示模型的语义相关学习信号的源，利用翻译中的等价性作为分布式上下文进行联合嵌入和对齐，通过概率归一化的隐变量词汇对齐实现嵌入词，并比较上下文中的词的重叠度。应用于多个语义任务上获得了良好的性能表现。

Feb, 2018

提出一种基于多语言预训练模型的词语对齐方法，通过在浅层中利用共享的自注意力模块，将源语句和目标语句单独编码，而在较高层通过交叉注意力模块显式地构建跨语言交互，达到提高词语对齐质量的效果。通过采用两阶段训练框架，实现对模型的有效训练，实验结果在五对语言中有四对的性能达到了最新水平。

Oct, 2022

本文提出了一种在神经机器翻译中加入词汇约束的简单有效算法，该算法可以在推理时注入术语约束，而不影响解码速度，并且无需修改训练流程，使用自定义字典即可运行，实验结果表明，我们的方法在英德 WMT 数据集上可以提高基线和之前方法的翻译质量。

Apr, 2020

本研究提出了一种 Opportunistic Decoding 技术，该技术以适当速度纠错并每步生成额外单词以保证跟踪最新信息，进而实现了高质量的同声传译和显著降低的延迟。

May, 2020

跨语言语义解析利用最优传输从高资源语言（例如英语）向训练数据稀缺的低资源语言转移解析能力。我们提出了一种新的跨语言语义解析方法，通过显式地最小化概率潜变量之间的跨语言差异来改善自然语言解析，减少训练样本的使用。我们在 MTOP 和 MultiATIS++SQL 两个数据集上评估方法，在少样本跨语言情景下取得了最先进的结果。消融研究进一步揭示了我们的方法即使没有平行输入翻译也能提高性能。此外，我们展示了我们的模型更好地在潜空间中捕获跨语言结构，从而提高了语义表示的相似性。

Jul, 2023

该研究探讨了使用去噪词对齐作为新的跨语言预训练任务的方法，通过在双语对中进行自我标注的单词对齐，结合指针网络来预测清理片段中被屏蔽的单词及其在另一种语言中的对应单词，并在期望值最大化的方式下交替进行两个步骤，实验结果表明该方法在各种数据集上提高了跨语言可传递性。

Jun, 2021

本研究提出了一种简单的方法，作为预训练后对多语种上下文嵌入进行对齐的步骤，以提高预训练模型的零 - shot 跨语言迁移能力。该方法通过最近提出的 Translation Language Modeling 目标在词级别上对嵌入进行对齐，并通过对比学习和随机输入洗牌在句子级别上进行对齐。在下游任务的微调中，使用英语进行句子级别的代码转换。在 XNLI 上，我们的最佳模型（从 mBERT 初始化）在零 - shot 设置上比 mBERT 提高了 4.7％，在使用少于 18％的相同平行数据和 31％的模型参数的情况下，实现了与 XLM for translate-train 相当的结果。在 MLQA 上，我们的模型胜过比我们多 57％参数的 XLM-R_Base。

Oct, 2020