MMAug, 2023

基于多编码器的文档级神经机器翻译中上下文编码的案例研究

PDF
TL;DR针对多编码器模型在不同上下文下对代词翻译的影响，本文通过在三种上下文设置（前两个句子、随机两个句子和两者混合）上训练多编码器模型，并使用上下文感知的代词翻译测试集进行评估，结果表明即使上下文是随机的，模型在 ContraPro 测试集上表现良好。此外，对源表示进行的分析显示上下文编码器提供足够的信息以学习话语层次的信息，同时将所选上下文（在本例中为前两个句子）和随机上下文进行混合通常比其他设置更好。
multi-encoder modelscontext encoderpronoun translationcontrapro test setdiscourse-level information
发现论文，激发创造
  • 多编码器有帮助吗？基于上下文的神经机器翻译案例研究

    研究多编码器方法在文档级神经机器翻译中的应用，证实上下文编码器不仅编码周围的句子还会产生噪声，探讨引入噪音和严谨的 dropout 方法在多编码器 NMT 中的作用，实验结果证明噪声训练在小数据集中发挥重要作用，并通过使用噪音生成和 dropout 方法，在 IWSLT Fr-En 任务上创立了新的最优效果。

    May, 2020

  • 多任务学习下的上下文感知神经机器翻译案例分析

    探讨了使用多任务学习和多重编码器方法在文档级神经机器翻译中建模上下文编码的观察，证明了在资源匮乏的情况下，该方法比串联和多重编码器模型表现更好，并对选择上下文敏感。

    Jul, 2024

  • 分而治之：针对上下文感知多编码器翻译模型的有效预训练

    本文介绍了多编码器模型在训练语境参数时的困难，并提出了预训练上下文参数的四种不同拆分方法，进而增加上下文训练信号，并缩短上下文片段，从而提高了上下文参数的学习效果。在 BLEU 和对比测试集的评估下，结果表明本方法在低资源和高资源设置下都能有效地提高学习效果。

    Mar, 2021

  • 神经机器翻译中的语篇现象评估

    研究了利用上下文进行神经机器翻译的模型，并提出了一种多编码器并解码两个句子以实现上下文输出的方法，该方法在指代和连贯性方面表现最佳。

    Nov, 2017

  • 神经机器翻译是否从更大的上下文中受益？

    本文提出了一种神经机器翻译架构，该架构不仅针对源语句进行建模，还考虑到上下文信息，这种方法尤其适用于小型语料库的翻译任务，不仅改进了常规翻译质量，还提出了适用于代词预测的基于注意力的神经机器翻译方法，与其他针对该任务进行设计的方法相比具有更好的表现。

    Apr, 2017

  • 上下文感知的神经机器翻译学习指代消解

    我们引入了一种上下文感知的神经机器翻译模型，该模型可以控制和分析从扩展上下文到翻译模型的信息流，实验证明该模型改进了代词翻译和在指代方面进行了隐含捕获，而且不仅在指代性情况下有所改进，还提高了整体 BLEU 分数。

    May, 2018

  • 利用跨句子上下文进行神经机器翻译

    本文提出了一种基于上下文的翻译方法，并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明，该方法相较于基于注意力机制的神经机器翻译系统，能够显著提高翻译质量 + 2.1 BLEU points。

    Apr, 2017

  • 面向上下文的神经机器翻译学习

    本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

    Mar, 2019

  • HanoiT: 通过选择性上下文增强上下文感知翻译

    本文提出了一种使用层间选择机制来筛选和优化长文档上下文的端到端编码器 - 解码器模型，以改善神经机器翻译的质量。 实验证明，该模型通过软选择机制在四组数据集上明显优于以前的模型。

    Jan, 2023

  • 上下文神经机器翻译提高了指代前置代词的翻译

    本研究探讨了将未来句子作为上下文与使用过去句子作为上下文的翻译模型效果，结果表明使用未来句子作为上下文不仅可以显著改善翻译效果，而且在某些情況下比过去句子更有效。同时，我们还在特定情况下的测试中获得了显著的改善。

    Apr, 2020