利用目标端上下文来提高上下文感知的神经机器翻译
本文提出了一种基于上下文的翻译方法,并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明,该方法相较于基于注意力机制的神经机器翻译系统,能够显著提高翻译质量 + 2.1 BLEU points。
Apr, 2017
文档级上下文对神经机器翻译至关重要,然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息,而这些挑战可以通过引入受限的注意力机制来解决,并在低资源情况下实现良好的折衷方案。
Jun, 2023
本文研究了文档级 NMT 模型在四个不同领域中的性能,并发现不同的架构适用于不同的任务,同时发现上下文感知系统在任务特定问题上有改进,而文本级别的指标(如 BLEU)没有显着改进。同时,本文还表明,文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。
Oct, 2020
提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译,并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词,将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中,通过在英德数据集上的实验进一步验证了该方法的有效性。
Mar, 2019
该研究提出了一种简单的方法将基于句子水平的翻译模型转化为基于上下文的模型,该方法使用点互信息来表示上下文信息。这种方法在三种语言对上得到了较好的效果。
Oct, 2020
通过引入全局上下文,我们提出了一种新的文档级 NMT 框架,用于处理包含任意数量句子的文档,并且可以在标准数据集上优雅地训练,结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。
Feb, 2020
本文中,我们提出了一种新的学习算法,用于增进神经机器翻译模型对附加上下文的理解,通过使用多级成对排名损失函数,我们在基于 transformer 的大语境翻译系统中进行了评估,并通过与实际和随机语境下的性能对比表明,使用所提出的算法训练的模型对额外上下文的理解更敏感。
Mar, 2019
通过内存网络以及结构化预测方式解决文档级机器翻译问题。在训练过程中囊括源文件和目标文件,通过分别采用两个记忆组件来处理相应上下文,同时提出一种基于块协调下降的迭代解码算法。在法语、德语和爱沙尼亚语文件中进行英语翻译的实验结果表明,该模型在利用上下文方面有效,在 BLEU 和 METEOR 方面的表现均显著优于先前的方法。
Nov, 2017
为解决传统神经机器翻译技术所存在的译文质量缺陷问题,我们提出了一种名为 context gates 的动态控制算法,旨在更加细致地控制源与目标语境对目标词汇生成的影响比率,实验结果显示较传统注意力机制神经机器翻译系统提升 2.3 BLEU 分数。
Aug, 2016
该研究通过拼接语境的方法,研究了在标准文档级神经机器翻译中,是否应进一步提升目标语言的上下文对翻译结果的影响,实验结果表明,在目标语言现象上,将目标语言上下文加入到源语言端能够有显著的提升,而在依赖于源语言的现象方面,将源语言和目标语言的上下文同时加入源语言端能够在所有指标上都有显著的提升。
Feb, 2024