EMNLPOct, 2020

神经机器翻译的不确定性感知语义增强

PDF
TL;DR本文提出了一种新的方式用于神经机器翻译的模型训练，通过对多个具有相同语义的源语言句子进行明确抓取通用的语义信息以提高模型性能。在各类翻译任务的实验中，本方法表现显著优于现有方法。
neural machine translationuncertaintysemantic informationmodel trainingtranslation tasks
发现论文，激发创造
  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 神经机器翻译的句法感知数据增强

    本文提出了一种新的句法感知数据增强策略，使用输入句子的依存句法树来确定每个句子中单词的选择概率，以有效增强神经机器翻译的翻译性能。实验表明，所提出的数据增强方法可显著提高基于句子独立的方法的翻译性能。

    Apr, 2020

  • 基于不确定性置信度评估的反向翻译优化

    本研究通过使用基于不确定性的置信度评估，提出了一种针对噪声性合成双语语料库的反向翻译方法，实验证明该方法显著提高了反向翻译的性能。

    Aug, 2019

  • 学习扩展泛化：面向神经机器翻译的连续语义增强

    该论文提出了一种新的数据增强模型 Continuous Semantic Augmentation (CsaNMT), 该模型可以使神经机器翻译模型在低资源环境中表现出更好的泛化性能和更高的翻译质量。通过丰富训练数据，提高了机器翻译的性能，并在多个语言翻译任务中取得了大幅度的提升。

    Apr, 2022

  • 不确定性决定了序列到序列模型的适用性和解码的可操作性

    通过测量自然语言处理中 intristic uncertainty 的程度，我们发现它会对搜索过程的归纳偏差和精确搜索的复杂度等方面产生重大影响，并提出了一种新的精确搜索算法用于神经序列模型，发现 intristic uncertainty 会影响模型的不确定性，从而导致概率质量过度分散。

    Apr, 2022

  • 重新思考翻译记忆增强神经机器翻译

    本研究通过概率检索和方差 - 偏差分解原理，重新思考了翻译记忆增强神经机器翻译（TM-augmented NMT）。研究发现，TM-augmented NMT 能够很好地拟合数据，但对训练数据的波动更为敏感，为同一翻译任务上最近报告的矛盾现象提供了解释。本文提出了一种简单而有效的 TM-augmented NMT 模型，以促进方差和解决矛盾现象。广泛的实验表明，在两种低方差（低资源和即插即用）方案以及高资源情景下，所提出的 TM-augmented NMT 均实现了相对于传统 NMT 和现有 TM-augmented NMT 的一致的收益。

    Jun, 2023

  • 无监督多模态神经机器翻译

    本研究提出了一种基于多模态机器翻译框架的无监督神经机器翻译方法，通过图像识别加强双向多模态翻译的学习效果，在 Multi30K 数据集上与传统基于文本的神经机器翻译相比，本方法有更好的实验结果。

    Nov, 2018

  • AdvAug: 神经机器翻译的鲁棒对抗性增强

    本文提出了一种新的神经机器翻译对抗性数据增强方法，称之为 AdvAug，使用虚拟句子的嵌入来训练 NMT 模型，通过实验证明其取得了显著的效果提升。

    Jun, 2020

  • 关于一种基于一致性感知元学习的可靠神经机器翻译方法

    本文提出了一种基于一致性感知元学习的神经机器翻译（CoNMT）框架，旨在解决当前 NMT 系统中由源多样性现象导致的翻译错误，实验结果表明，该框架能有效提高翻译质量并可靠地处理输入的多样性。

    Mar, 2023

  • 语义不确定性：自然语言生成中不确定性估计的语言不变性

    本文提出了一种测量大型语言模型中不确定性的方法，介绍了语义熵的概念，并且证明该方法在问答任务上的准确性优于基线模型。

    Feb, 2023