Feb, 2017

神经机器翻译的可训练贪婪解码

PDF
TL;DR本文提出了一种可训练的解码算法，通过观察和操作神经机器翻译解码器的隐藏状态来最大化任意解码目标，使用确定性策略梯度对其进行培训，在四个语言对和两个解码目标上进行广泛评估，证明我们确实可以训练出一个可训练的贪婪解码器，从而以最小的计算开销生成更好的译文。
neural machine translationdecoding algorithmtrainable decoding algorithmdeterministic policy gradientlanguage pairs
发现论文，激发创造
  • 带有 Gumbel-Greedy 解码的神经机器翻译

    本文提出了一种使用 Gumbel-Greedy Decoding 训练生成网络来预测翻译的方法，该方法使用 Gumbel-Softmax 重新参数化来实现对离散单词序列的可微分训练，实验证明其有效性。

    Jun, 2017

  • 神经机器翻译能否进行同声传译？

    本文探讨了注意力机制的神经机器翻译在同时翻译中的应用，并引入一种新的解码算法 —— 同时贪心解码，可在接收到完整源句之前开始翻译。该方法与以往同时翻译的研究不同之处在于，它是基于分割和翻译同时进行的，以最大化翻译质量，并且每个片段的翻译都强烈依赖于之前所有片段。这项研究是基于神经机器翻译建立完整的同时翻译系统的第一步。

    Jun, 2016

  • 神经机器翻译中的连续优化解码

    该研究提出了一种基于连续优化的神经机器翻译解码方法，将离散问题转化为连续优化问题，并使用梯度法解决该问题。研究结果表明，该解码框架非常有效，可以改善交叉模型的翻译效果。同时，该框架也具有优点和缺点与重排框架相比。

    Jan, 2017

  • 基于反卷积的全局解码神经机器翻译

    提出了一种新的神经机器翻译模型，利用目标序列上下文的结构预测来引导翻译，从而使之摆脱顺序约束，实现了重复减少和跨长度翻译的鲁棒性，相较于当前最优方法有着更为优越的效果表现。

    Jun, 2018

  • 一种稳定有效的可训练贪婪解码学习策略

    本文提出了一种灵活的新方法，利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态，以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络，它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发，但不需要强化学习，并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明，该方法可以使翻译质量和速度大大提高，超过每个基础系统。

    Apr, 2018

  • 使用术语约束的神经机器翻译解码

    本研究描述了基于有限状态机和多堆栈解码的受约束神经机器翻译解码方法，支持目标端约束以及对应对齐输入文本跨度的约束条件，在多个翻译任务上表现出较好的性能，通过注意力受约束解码的方式减少用户约束翻译时的错置和重复。

    May, 2018

  • 未来成功学习解码

    介绍了一种简单的、通用的策略，通过插值算法将 MLE-based 令牌生成策略的演员与能够估计所需属性的价值函数批判家结合来修改神经解码器的行为，从而生成具有特定属性（例如，预定长度的序列）的输出。该方法不仅能处理序列长度和后向概率等多种无法通过标准神经序列解码器处理的属性，而且在优化 BLEU 或 ROUGE 得分时能够持续改善概括性摘要和机器翻译。

    Jan, 2017

  • 神经机器翻译的性质：编码器 - 解码器方法

    分析神经机器翻译的性能，研究了两种模型：RNN 编码器 - 解码器和新提出的门控递归卷积神经网络，结果显示神经机器翻译在翻译较短，不含生词句子时表现相对良好，但随着句子长度和生词数的增加，其性能会迅速降低。同时发现，所提出的门控递归卷积网络能够自动学习句子的语法结构。

    Sep, 2014

  • 基于噪声并行的条件循环语言模型近似解码

    本文主要探究了条件循环语言建模方面的一些进展和应用，提出了一个新的非常并行化的解码策略，并在诸如注意力机制和深度神经网络的领域进行了广泛的评估。

    May, 2016

  • 互动机器翻译中提供建议的简易引导解码

    本文提出一种使用参数化的神经机器翻译目标函数的简单约束解码算法来改善翻译质量的方法，并在一个基准数据集上进行了验证，结果表明该算法在翻译质量和时间效率方面都优于现有方法。

    Nov, 2022