ACLMay, 2024

从解码目标的角度理解和解决翻译结果不足的问题

PDF
TL;DR神经机器翻译 (NMT) 在过去几年取得了显著进展，但仍存在两个具有挑战性的问题，即欠翻译和过翻译。本文从解码目标的角度深入分析了 NMT 中欠翻译的根本原因，并提出了使用预测句子结束标记的置信度作为欠翻译检测器的方法，通过增强基于置信度的惩罚来纠正欠翻译的候选翻译，实验证明该方法可以准确地检测和纠正欠翻译的输出，对其他正确翻译的影响较小。
neural machine translationunder-translationover-translationbeam search objectiveend of sentence
发现论文，激发创造
  • 防止神经机器翻译语言模型过度自信

    提出了一种基于 Margin 的 Token-level Objective（MTO）和 Margin-based Sentence-level Objective（MSO）方法，并在 WMT14 英德，WMT19 中英和 WMT14 英法翻译任务中取得了良好的效果。

    May, 2021

  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 零样本情境机器翻译的反语言模型解码

    零射一上下文学习是一种模型能够根据指令进行任务处理的现象。该研究提出了一种具有衰减因子的反语言模型目标，旨在解决上下文机器翻译的弱点，并在实验中表现出优于其他最先进解码目标的性能。

    Nov, 2023

  • 神经机器翻译编解码模型的校准

    本文研究了几种基于注意力编码器 - 解码器模型的最新神经机器翻译 (NMT) 系统的校准。我们表明，大多数现代 NMT 模型即使在给定真正的先前标记的情况下，其校准水平也惊人地失准。 探讨了失误的两个原因：EOS 和注意力不确定性的严重失校。 基于这些信号，我们设计了重新校准方法，并展示了提高的准确性、更好的序列级校准和更直观的 beam-search 结果。

    Mar, 2019

  • 基于重建的神经机器翻译

    通过添加 reconstructor 到 encoder-decoder 框架中，从输出的 target sentence 的隐藏层中重构输入的 source sentence，改善了神经机器翻译的可靠性和翻译质量。

    Nov, 2016

  • 使用术语约束的神经机器翻译解码

    本研究描述了基于有限状态机和多堆栈解码的受约束神经机器翻译解码方法，支持目标端约束以及对应对齐输入文本跨度的约束条件，在多个翻译任务上表现出较好的性能，通过注意力受约束解码的方式减少用户约束翻译时的错置和重复。

    May, 2018

  • 理解与缓解零样本翻译中的不确定性

    该篇论文从不确定性的角度出发，提出两种轻量级的方法解决零 - shot 翻译的偏差问题，并在平衡和不平衡数据集上进行实验，证实这些方法显著提高了在强 MNMT 基线上的零 - shot 翻译的性能，并提供了定量分析的见解。

    May, 2022

  • 神经机器翻译质量感知解码

    机器翻译中心于神经机器翻译的 MAP 解码，本文提出基于近期普及的基于参考文本和无参考文本翻译质量评估研究成果，包括 n-best 重排序和最小贝叶斯风险解码等，实现了基于质量的神经机器翻译解码，经过多组数据集比较和人工评估，结果表明质量感知的神经机器翻译解码性能优于基于 MAP 的解码方法，且代码已公开。

    May, 2022

  • 探索无监督的预训练目标对机器翻译的影响

    本文研究无监督跨语言预训练在神经机器翻译中的应用，通过对编码器输入进行屏蔽或者基于上下文重新排序和替换等不同预训练方法的比较，发现无监督机器翻译对预训练目标的敏感度较高，与有监督机器翻译相比，更需要具有强大跨语言能力的编码器模型。

    Jun, 2021

  • 神经机器翻译中的连续优化解码

    该研究提出了一种基于连续优化的神经机器翻译解码方法，将离散问题转化为连续优化问题，并使用梯度法解决该问题。研究结果表明，该解码框架非常有效，可以改善交叉模型的翻译效果。同时，该框架也具有优点和缺点与重排框架相比。

    Jan, 2017