Feb, 2022

使用自适应树搜索实现任意翻译目标

PDF
TL;DR介绍了一种自适应树搜索算法，用于在翻译模型中寻找高分输出。该算法是一种确定性的 Monte Carlo 树搜索的变体，可以探索不受常规假设约束的新型模型。通过实证研究，该方法在自回归模型中找到的输出与 beam 搜索相比具有更好的模型得分，并表明随着模型的发展，beam 搜索或重新排名方法可能掩盖了进一步的改进。
发现论文，激发创造
  • 超越束搜索的机器翻译解码

    本文探讨是否可以将 Beam Search 替换为更强大的以度量为驱动的搜索技术。通过对多个解码算法的探索和分析，发现最佳算法取决于目标度量的特性；作者提出的基于 Monte-Carlo Tree Search (MCTS) 的搜索方法在语言应用中具有很高的应用价值，为今后的研究方向提供了新视角。

    Apr, 2021

  • 应用 Beam Search 学习最佳树模型

    通过发展 Bayes 最优方法和校准方法来理解和分析现有树模型中存在的训练 - 测试差异问题，并提出了一种新的算法来解决此问题，实验结果证明了该算法相较于现有方法具有更高的性能水平。

    Jun, 2020

  • 如果 Beam Search 是答案，那么问题是什么？

    采用 Beam Search 解码思路得出的结果通常要优于最大后验概率解码方式，因为前者更加符合认知科学理论，这启示我们有必要提出一系列解码目标，明确地强化文本信息均匀分布的特性，以解决解码过程中存在的问题。

    Oct, 2020

  • 通过置信度放宽增强 ASR 解码

    该论文提出了一种解码过程，改进了现有的基于 beam search 的自动语音识别系统中的缺陷，特别是针对最近提出的自监督学习（SSL）模型中高度自信的预测所带来的问题，并且不需要额外的训练以及模型参数，并且在低资源场景中实现了一致的改进。

    Dec, 2022

  • 用于束搜索再排序的简单基准线

    本文介绍了一种简单的方法，通过训练重新排序器来预测翻译候选的 BLEU 分数，从而达到准确衡量机器翻译质量的目的。在未引入其他数据或参数的情况下，此方法可以作为该领域未来研究的一个干净的基线模型。

    Dec, 2022

  • 一种稳定有效的可训练贪婪解码学习策略

    本文提出了一种灵活的新方法，利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态，以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络，它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发，但不需要强化学习，并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明，该方法可以使翻译质量和速度大大提高，超过每个基础系统。

    Apr, 2018

  • 神经序列模型端到端训练的连续松弛束搜索

    本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

    Aug, 2017

  • 非自回归神经机器翻译：呼唤清晰度

    本文旨在改进非自回归方法在机器翻译方面的表现，探讨了多种技术提升其翻译质量和效率，并将其在四个翻译任务上进行了评估，考虑到 tokenized BLEU 的使用不一致，我们贡献了标准化的 BLEU、chrF++ 及 TER 得分，并将代码开源集成于 fairseq 中以便重现研究结果。

    May, 2022

  • 提高非自回归机器翻译的流畅度

    本文对非自回归机器翻译模型进行了改进，通过使用额外的特征来提高连接时序分类（CTC）下的模型表达流畅性，并将其与波束搜索解码相结合，仍能保持高速解码能力，具有与自回归模型相媲美的 BLEU 分数。

    Apr, 2020

  • 一项关于学习和改进无监督释义搜索目标的实证研究

    本文研究无监督文本生成技术中的优化问题，提出利用学习模型平滑启发式搜索目标函数中的噪声以及与原始目标函数相结合来指导搜索，实验表明，这种方法可以略微提高搜索性能。

    Mar, 2022