ACLNov, 2017

带有记忆网络的文本上下文神经机器翻译

PDF
TL;DR通过内存网络以及结构化预测方式解决文档级机器翻译问题。在训练过程中囊括源文件和目标文件，通过分别采用两个记忆组件来处理相应上下文，同时提出一种基于块协调下降的迭代解码算法。在法语、德语和爱沙尼亚语文件中进行英语翻译的实验结果表明，该模型在利用上下文方面有效，在 BLEU 和 METEOR 方面的表现均显著优于先前的方法。
发现论文，激发创造
  • 基于目标端文本级语言模型的上下文感知神经机器翻译解码器

    该研究提出了一种简单的方法将基于句子水平的翻译模型转化为基于上下文的模型，该方法使用点互信息来表示上下文信息。这种方法在三种语言对上得到了较好的效果。

    Oct, 2020

  • SMDT: 选择性记忆增强神经文档翻译

    本文提出了一种选择性存储增强神经文档翻译模型，通过从训练语料库中检索相似的双语句对来增强全局上下文信息，并扩展双流注意力模型以捕捉局部上下文和多样化的全局上下文，该统一方法使我们的模型可以优雅地在三个公开的文档级机器翻译数据集上训练，并显著优于以前的文档级 NMT 模型。

    Jan, 2022

  • 使用自我训练在句子级神经机器翻译模型中捕获文档上下文

    该研究提出了一种基于自训练的方法，可以在不需要专门的并行文档级语料库和模型的情况下，将已训练好的句子级神经机器翻译模型应用于文档级机器翻译任务，并在三个文档级数据集上进行了评估，结果显示我们的方法在 BLEU 指标上具有更高的得分和更高的人类偏好度。

    Mar, 2020

  • 学习记忆：用循环记忆的 Transformer 进行文档级机器翻译

    介绍了一种新的循环记忆单元来加强 Transformer 框架下文档级机器翻译的一致性，提出了一种两阶段的训练策略，实现了在三个流行数据集上的优异表现，并在 TED 和 News 数据集上实现了比过去最好结果更好的结果。

    May, 2022

  • 神经机器翻译中充分利用上下文的探索

    通过引入全局上下文，我们提出了一种新的文档级 NMT 框架，用于处理包含任意数量句子的文档，并且可以在标准数据集上优雅地训练，结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。

    Feb, 2020

  • 深入探究上下文感知神经机器翻译

    本文研究了文档级 NMT 模型在四个不同领域中的性能，并发现不同的架构适用于不同的任务，同时发现上下文感知系统在任务特定问题上有改进，而文本级别的指标（如 BLEU）没有显着改进。同时，本文还表明，文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。

    Oct, 2020

  • 面向上下文的神经机器翻译学习

    本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

    Mar, 2019

  • 神经机器翻译的文档图

    利用图形化表示法将文档作为全局语境，并将其整合到传统的变压器架构中，结合多种关系，包括邻接，句法依赖，词汇一致性和指代，能够显著提高神经机器翻译的性能。

    Dec, 2020

  • 利用目标端上下文来提高上下文感知的神经机器翻译

    本文研究使用多编码器和两个注意力机制以读取当前和先前句子以融入上下文的神经机器翻译（NMT）的文档级上下文问题，提出了一种权重共享方法，并得出结论，当在 NMT 中作为解码器状态插入目标端上下文时，目标端上下文也是有用的。

    Sep, 2019

  • 利用跨句子上下文进行神经机器翻译

    本文提出了一种基于上下文的翻译方法，并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明，该方法相较于基于注意力机制的神经机器翻译系统，能够显著提高翻译质量 + 2.1 BLEU points。

    Apr, 2017