Jan, 2023

HanoiT: 通过选择性上下文增强上下文感知翻译

PDF
TL;DR本文提出了一种使用层间选择机制来筛选和优化长文档上下文的端到端编码器 - 解码器模型，以改善神经机器翻译的质量。 实验证明，该模型通过软选择机制在四组数据集上明显优于以前的模型。
neural machine translationcontext-awareencoder-decoder modellayer-wise selection mechanismdocument-level
发现论文，激发创造
  • 上下文感知的选择性关注神经机器翻译

    提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。

    Mar, 2019

  • SMDT: 选择性记忆增强神经文档翻译

    本文提出了一种选择性存储增强神经文档翻译模型，通过从训练语料库中检索相似的双语句对来增强全局上下文信息，并扩展双流注意力模型以捕捉局部上下文和多样化的全局上下文，该统一方法使我们的模型可以优雅地在三个公开的文档级机器翻译数据集上训练，并显著优于以前的文档级 NMT 模型。

    Jan, 2022

  • 面向上下文的神经机器翻译学习

    本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

    Mar, 2019

  • 基于目标端文本级语言模型的上下文感知神经机器翻译解码器

    该研究提出了一种简单的方法将基于句子水平的翻译模型转化为基于上下文的模型，该方法使用点互信息来表示上下文信息。这种方法在三种语言对上得到了较好的效果。

    Oct, 2020

  • 通过强化学习实现文档级神经机器翻译的动态上下文选择

    本文提出一种基于强化学习的动态上下文选择方法，通过一个独立于翻译模块的选择模块对候选上下文句子进行评分，并提出两种策略来明确定义一个可变的上下文句子数量，该方法可以针对不同的源句子选择适应性的上下文句子，显著提高了文档级翻译方法的性能。

    Oct, 2020

  • 利用跨句子上下文进行神经机器翻译

    本文提出了一种基于上下文的翻译方法，并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明，该方法相较于基于注意力机制的神经机器翻译系统，能够显著提高翻译质量 + 2.1 BLEU points。

    Apr, 2017

  • 提高长文本层面机器翻译质量

    文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

    Jun, 2023

  • 使用文档级上下文来改进 Transformer 翻译模型

    该研究通过在 Transformer 模型中引入上下文编码器，将文档级别的上下文信息融入原有的编码器和解码器中提高翻译质量，同时采用双倍训练方法，充分利用句子级别平行语料库和有限的文档级别平行语料库来训练模型，并通过 NIST 中英数据集和 IWSLT 法英数据集的实验表明，该方法显著提升了 Transformer 模型的性能表现。

    Oct, 2018

  • 利用目标端上下文来提高上下文感知的神经机器翻译

    本文研究使用多编码器和两个注意力机制以读取当前和先前句子以融入上下文的神经机器翻译（NMT）的文档级上下文问题，提出了一种权重共享方法，并得出结论，当在 NMT 中作为解码器状态插入目标端上下文时，目标端上下文也是有用的。

    Sep, 2019

  • 上下文感知神经机器翻译中的挑战

    这篇论文探讨了上下文感知神经机器翻译的挑战与方法，并提出了一种更逼近真实情境的段落级翻译任务 para2para，同时提供了新的中英小说数据集以促进未来研究。

    May, 2023