ACLMay, 2021

上下文感知的翻译模型是否关注正确？

PDF
TL;DR本文介绍了一个新的英法数据集，通过该数据集的分析，指出机器翻译模型在消歧代词和多义词方面经常无法利用上下文信息，通过引入 SCAT，作者提出了一种指导注意力策略来促进模型的注意力分配与 SCAT 的支持上下文的一致性。
context-aware machine translationpronoun disambiguationsupporting context wordsalignment between attention scoresguided attention strategy
发现论文，激发创造
  • 上下文感知的神经机器翻译学习指代消解

    我们引入了一种上下文感知的神经机器翻译模型，该模型可以控制和分析从扩展上下文到翻译模型的信息流，实验证明该模型改进了代词翻译和在指代方面进行了隐含捕获，而且不仅在指代性情况下有所改进，还提高了整体 BLEU 分数。

    May, 2018

  • 上下文是否有助于缓解神经机器翻译中的性别偏见？

    神经机器翻译模型在其训练数据分布中往往会延续性别偏见。本文通过详细分析英语到德语的刻板职业翻译以及巴斯克语到西班牙语的非信息上下文翻译，检验了上下文感知模型对减轻此类偏见的作用。研究结果表明，虽然上下文感知模型可以显著增强女性术语的翻译准确性，但依然可能保持或放大性别偏见。这些结果凸显了神经机器翻译中对偏见减轻需要更精细方法的需求。

    Jun, 2024

  • 上下文神经机器翻译提高了指代前置代词的翻译

    本研究探讨了将未来句子作为上下文与使用过去句子作为上下文的翻译模型效果，结果表明使用未来句子作为上下文不仅可以显著改善翻译效果，而且在某些情況下比过去句子更有效。同时，我们还在特定情况下的测试中获得了显著的改善。

    Apr, 2020

  • 神经机器翻译是否从更大的上下文中受益？

    本文提出了一种神经机器翻译架构，该架构不仅针对源语句进行建模，还考虑到上下文信息，这种方法尤其适用于小型语料库的翻译任务，不仅改进了常规翻译质量，还提出了适用于代词预测的基于注意力的神经机器翻译方法，与其他针对该任务进行设计的方法相比具有更好的表现。

    Apr, 2017

  • 通过相关语境来减轻神经机器翻译模型中的性别偏见：翻译系统对额外上下文的敏感度如何？

    本文探讨了如何通过翻译相关的背景句子，指导神经机器翻译系统上下文修正性别偏见后，显著提高其翻译性能；同时提出一种新的度量标准来评估大型预训练模型在使用上下文进行翻译时修正偏见的敏感度。

    May, 2022

  • 上下文感知机器翻译中的上下文使用度测量与增加

    本文介绍了一种新的度量模型使用上下文的方法，并提出了一种新的训练方法来增加上下文感知模型的使用率。实验证明，这种方法可以提高翻译质量和语义连贯性。

    May, 2021

  • 上下文感知的机器翻译与源语言共指解释

    通过预测输入中的核指代特征，我们提出了一种可以解释翻译决策的模型，通过利用输入和翻译输出表示中的上下文特征，以提高英语 - 德语数据集、英语 - 俄语数据集和多语言 TED 演讲数据集上的文档级翻译任务 BLEU 分数超过 1.0 的效果。

    Apr, 2024

  • 面向上下文的神经机器翻译学习

    本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

    Mar, 2019

  • 基于大型语言模型的机器翻译的有效消歧

    通过利用大型语言模型，我们研究了在机器翻译中解决语义歧义的能力，并提出了两种改进方法，通过上下文学习和在精心策划的歧义数据集上的微调，我们的方法在五种语言方向中有四种能够匹敌或胜过 DeepL 和 NLLB 等最先进的系统，为将大型语言模型有效地用于歧义消解的机器翻译提供了有价值的见解。

    Sep, 2023

  • 上下文感知的选择性关注神经机器翻译

    提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。

    Mar, 2019