Apr, 2021

超越束搜索的机器翻译解码

PDF
TL;DR本文探讨是否可以将 Beam Search 替换为更强大的以度量为驱动的搜索技术。通过对多个解码算法的探索和分析，发现最佳算法取决于目标度量的特性；作者提出的基于 Monte-Carlo Tree Search (MCTS) 的搜索方法在语言应用中具有很高的应用价值，为今后的研究方向提供了新视角。
beam searchauto-regressive machine translation modelsmetric-driven search techniquemonte-carlo tree search (mcts)language applications
发现论文，激发创造
  • 使用自适应树搜索实现任意翻译目标

    介绍了一种自适应树搜索算法，用于在翻译模型中寻找高分输出。该算法是一种确定性的 Monte Carlo 树搜索的变体，可以探索不受常规假设约束的新型模型。通过实证研究，该方法在自回归模型中找到的输出与 beam 搜索相比具有更好的模型得分，并表明随着模型的发展，beam 搜索或重新排名方法可能掩盖了进一步的改进。

    Feb, 2022

  • 神经机器翻译的束搜索策略

    本文提出了通过改进灵活的 beam-search decoder 来加速神经机器翻译的方法，并测试表明，该方法可以提高速度，同时不影响翻译质量。

    Feb, 2017

  • 如果 Beam Search 是答案，那么问题是什么？

    采用 Beam Search 解码思路得出的结果通常要优于最大后验概率解码方式，因为前者更加符合认知科学理论，这启示我们有必要提出一系列解码目标，明确地强化文本信息均匀分布的特性，以解决解码过程中存在的问题。

    Oct, 2020

  • 突破束缚搜索：关于神经机器翻译评分方法和停止准则的研究

    本文提出了几种方法解决 beam search 的扩展导致的机器翻译质量下降的问题，讨论了这些方法的最优停止准则，并展示了无超参数方法在中英翻译中的优异表现，超过了使用长度规范化启发式方法的 BLEU 值 2.0，并在所有方法中获得了最佳结果。

    Aug, 2018

  • 一种稳定有效的可训练贪婪解码学习策略

    本文提出了一种灵活的新方法，利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态，以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络，它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发，但不需要强化学习，并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明，该方法可以使翻译质量和速度大大提高，超过每个基础系统。

    Apr, 2018

  • 用基于采样的方法逼近最小贝叶斯风险解码在神经机器翻译中的应用

    本研究分析了一种比 beam search 更有效的基于最小贝叶斯风险译码的决策规则，并设计了基于搜索和估计效用的成本分离近似算法，探讨了以模式为导向的策略对译文翻译的效果，实验证明这种方法在三种语言对中均能提高翻译质量。

    Aug, 2021

  • 神经机器翻译质量感知解码

    机器翻译中心于神经机器翻译的 MAP 解码，本文提出基于近期普及的基于参考文本和无参考文本翻译质量评估研究成果，包括 n-best 重排序和最小贝叶斯风险解码等，实现了基于质量的神经机器翻译解码，经过多组数据集比较和人工评估，结果表明质量感知的神经机器翻译解码性能优于基于 MAP 的解码方法，且代码已公开。

    May, 2022

  • 基于神经度量的最小贝叶斯风险解码：高质量而非高模型概率

    本篇论文研究神经机器翻译，提出使用最小贝叶斯风险解码优化翻译质量度量作为一种替代推论策略来优化自动翻译质量度量，实验结果表明，使用 BLEURT 作为质量度量指标产生的质量比传统 Beam-search 输出更好。

    Nov, 2021

  • 用于束搜索再排序的简单基准线

    本文介绍了一种简单的方法，通过训练重新排序器来预测翻译候选的 BLEU 分数，从而达到准确衡量机器翻译质量的目的。在未引入其他数据或参数的情况下，此方法可以作为该领域未来研究的一个干净的基线模型。

    Dec, 2022

  • 神经序列模型端到端训练的连续松弛束搜索

    本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

    Aug, 2017