本研究提出一种基于条件双语互信息（CBMI）的目标上下文感知统计度量方法，用于改善神经机器翻译中令人困扰的令牌不平衡问题，有效提高模型性能，实验结果显示，我们的方法明显优于 Transformer 基线和其他相关方法。

Mar, 2022

本文提出了一种有效的方法来偏置序列到序列神经机器翻译模型（NMT）的注意机制，使其趋向于研究过的词对齐模型。我们展示了我们的新型引导对齐训练方法如何在真实生活的电商文本翻译中提高了翻译质量，克服了许多未知单词和大型类型 / 令牌比。我们还表明，与输入文本相关的元数据（例如主题或类别信息）作为网络解码器部分的附加信号可显着提高翻译质量。有了这两个新功能，NMT 系统在一个产品标题集上的 BLEU 分数从 18.6 提高到 21.3％。通过将通用领域 NMT 系统进行领域适应也可获得更大的机器翻译质量提升。这个开发的 NMT 系统在 IWSLT 语音翻译任务中也表现良好，其中四个变体系统的集合比基线的基于短语的系统的 BLEU 分数提高了 2.1％。

Jul, 2016

本研究针对神经机器翻译存在的训练误差积累和过度校正问题，提出了一种从训练模型的预测序列中采样上下文词并使用句子级优化方法选择预测序列的训练策略，并在中英互译和 WMT'14 英德互译数据集上得到了显著提高。

Jun, 2019

提出了一种基于神经机器翻译模型的简单修改，使其能够使用单个通用模型在多种语言之间进行翻译，同时允许进行语言特定参数化，也可用于领域自适应，可以使用单语数据进行训练，表现优于现有技术，并且学习到的语言嵌入能够揭示语言之间的有趣关系。

Aug, 2018

本论文旨在研究神经聊天翻译 (NCT)，针对已有上下文感知机器翻译模型存在的问题，提出了一种多任务多阶段过渡 (MMT) 训练框架，采用双语聊天翻译数据集和额外的单语对话训练 NCT 模型，并引入话语一致性和说话人特征建模。训练过程包括三个阶段，通过逐步转换单语为双语对话，MMT 能够有效地缓解训练阶段的差异并提高翻译效果。

Jan, 2023

本文介绍了一种有力的方法，将事先训练好的语言模型（LMs）与神经机器翻译（NMT）相结合，以解决当前 LM 微调应用于资源丰富任务时巨大遗忘的难题，并在机器翻译任务中取得了优越的成果。

Aug, 2019

本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

Mar, 2019

通过研究上下文感知如何改善当前神经机器翻译模型在英日商务对话翻译中的表现，并探索哪种上下文对于提升翻译质量提供有意义的信息，本文使用事先训练的 mBART 模型在多句对话数据上进行微调，研究了更大上下文范围的影响，并提出了编码额外片段信息（如发言人和场景类型）的新型上下文标记，实验结果发现模型利用前几个句子和额外片段的上下文（随着上下文范围的增加，CXMI 也在增加）以及对敬语翻译进行了更专注的分析，而在翻译质量方面，与以往的工作和无上下文的基线比较，增加源语言上下文信息和场景、发言人信息有助于提高模型性能（使用 BLEU 和 COMET 指标进行衡量）。

Nov, 2023

本文提出了一种基于动态上下文引导胶囊网络（DCCN）的多模式机器翻译方法，通过引入上下文引导的动态路由机制，与全局和区域视觉特征组合，实现生成翻译时的可变性建模，该方法在英语 - 德语和英语 - 法语翻译多个数据集上超越了当前主流的注意力机制、全局上下文模型和多模式联合表示学习模型。

Sep, 2020

本研究通过将定制和合适的双语预训练语言模型（称为 BiBERT）的输出（上下文嵌入）作为神经机器翻译编码器的输入，展示了实现最先进的翻译性能的方法，并提出了一种随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。

Sep, 2021