IJCAIFeb, 2020

神经机器翻译中充分利用上下文的探索

PDF
TL;DR通过引入全局上下文，我们提出了一种新的文档级 NMT 框架，用于处理包含任意数量句子的文档，并且可以在标准数据集上优雅地训练，结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。
发现论文，激发创造
  • 使用自我训练在句子级神经机器翻译模型中捕获文档上下文

    该研究提出了一种基于自训练的方法，可以在不需要专门的并行文档级语料库和模型的情况下，将已训练好的句子级神经机器翻译模型应用于文档级机器翻译任务，并在三个文档级数据集上进行了评估，结果显示我们的方法在 BLEU 指标上具有更高的得分和更高的人类偏好度。

    Mar, 2020

  • 深入探究上下文感知神经机器翻译

    本文研究了文档级 NMT 模型在四个不同领域中的性能，并发现不同的架构适用于不同的任务，同时发现上下文感知系统在任务特定问题上有改进，而文本级别的指标（如 BLEU）没有显着改进。同时，本文还表明，文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。

    Oct, 2020

  • 提高长文本层面机器翻译质量

    文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

    Jun, 2023

  • 神经机器翻译中文档级上下文何时和为何有用？

    研究了文档级上下文在 NMT 中的改善机制，发现大多数的改进不能被解释为利用上下文，并说明了上下文建模的最小编码是足够的，而非常长的上下文对 NMT 不利。

    Oct, 2019

  • 利用跨句子上下文进行神经机器翻译

    本文提出了一种基于上下文的翻译方法，并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明，该方法相较于基于注意力机制的神经机器翻译系统，能够显著提高翻译质量 + 2.1 BLEU points。

    Apr, 2017

  • 神经机器翻译的文档图

    利用图形化表示法将文档作为全局语境，并将其整合到传统的变压器架构中，结合多种关系，包括邻接，句法依赖，词汇一致性和指代，能够显著提高神经机器翻译的性能。

    Dec, 2020

  • 机器翻译中逃离句子级范式

    本文提出了一种通过解决模型架构、训练数据和评估指标三个问题开展文本背景机器翻译的方案，并在 DE$ ightarrow$EN，EN$ ightarrow$DE，EN$ ightarrow$FR 和 EN$ ightarrow$RU 等语种的大数据实验中表明这三项改进措施能够显著提高文本背景翻译的性能。

    Apr, 2023

  • 上下文感知的选择性关注神经机器翻译

    提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。

    Mar, 2019

  • 论文档级神经机器翻译的搜索策略

    本文研究如何利用上下文感知的翻译模型在解码时最佳应用。通过对比使用标准自动指标和三个标准的文档级翻译基准测试上的特定语言现象，我们发现大多数常用的解码策略表现相似，并且更高质量的上下文信息有潜力进一步改善翻译效果。

    Jun, 2023

  • 带有记忆网络的文本上下文神经机器翻译

    通过内存网络以及结构化预测方式解决文档级机器翻译问题。在训练过程中囊括源文件和目标文件，通过分别采用两个记忆组件来处理相应上下文，同时提出一种基于块协调下降的迭代解码算法。在法语、德语和爱沙尼亚语文件中进行英语翻译的实验结果表明，该模型在利用上下文方面有效，在 BLEU 和 METEOR 方面的表现均显著优于先前的方法。

    Nov, 2017