EMNLPAug, 2018

神经文本生成的最优光束搜索（以光束大小为模）何时结束？

PDF
TL;DR本文提出了一种可证明为最优的波束搜索算法，该算法可用于神经文本生成中，如神经机器翻译、摘要和图像字幕生成，通过引入有界长度奖励机制，避免了短假设的问题并提高了 BLEU 分数。
neural text generationbeam search algorithmoptimalitybounded length reward mechanismneural machine translation
发现论文，激发创造
  • 突破束缚搜索：关于神经机器翻译评分方法和停止准则的研究

    本文提出了几种方法解决 beam search 的扩展导致的机器翻译质量下降的问题，讨论了这些方法的最优停止准则，并展示了无超参数方法在中英翻译中的优异表现，超过了使用长度规范化启发式方法的 BLEU 值 2.0，并在所有方法中获得了最佳结果。

    Aug, 2018

  • 最佳优先束搜索

    本文提出了一种有效启发式算法，用于近似搜索全输出空间中最佳解，解决了诸多自然语言处理任务中的难点问题，并为非单调性得分函数设计了有效的单调逼近方法，提出了一种内存缩减变体的最佳优先搜索，具有类似的有利搜索偏差，并在时限内运行。

    Jul, 2020

  • 神经机器翻译的束搜索策略

    本文提出了通过改进灵活的 beam-search decoder 来加速神经机器翻译的方法，并测试表明，该方法可以提高速度，同时不影响翻译质量。

    Feb, 2017

  • 神经文本生成的最佳 -$k$ 搜索算法

    本文提出了一种平衡生成质量和多样性的确定性搜索算法，并在四个自然语言生成任务中进行了实验，结果表明该算法相较于强基准表现更具多样性和自然性，同时维持高生成质量。

    Nov, 2022

  • 神经序列模型端到端训练的连续松弛束搜索

    本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

    Aug, 2017

  • 关于文本生成中的束搜索与穷举搜索之间的深度

    本文研究了文本解码算法中搜索深度的两个极端，束搜索和穷举搜索，并介绍了 Lookahead Beam Search (LBS) 作为二者的优化方法。实验证明，LBS 在机器翻译任务中表现优于束搜索，启示我们可以通过更深入的搜索提高束搜索的性能。受此分析启发，我们提出了一种计算可行的搜索算法，Lookbehind Heuristic Beam Search，并在机器翻译和文本摘要任务上展示了其超越束搜索的效果。

    Aug, 2023

  • 自然语言生成的增量光束操作

    本论文提出了增量束搜索方法，即在解码过程中重新排列束中的假设，以提高自然语言生成系统的性能，实验结果表明，该方法相对于传统束搜索方式，在 E2E 和 WebNLG 挑战测试集中分别使 BLEU 得分提高了 1.93 和 5.82 个百分点，在 E2E 挑战测试集上也比一种强大的再排序器表现更好。

    Feb, 2021

  • 超越束搜索的机器翻译解码

    本文探讨是否可以将 Beam Search 替换为更强大的以度量为驱动的搜索技术。通过对多个解码算法的探索和分析，发现最佳算法取决于目标度量的特性；作者提出的基于 Monte-Carlo Tree Search (MCTS) 的搜索方法在语言应用中具有很高的应用价值，为今后的研究方向提供了新视角。

    Apr, 2021

  • 推测性波束搜索用于同时翻译

    本文研究了如何在同时翻译领域使用 Beam Search 算法，提出了一种基于预测的 Speculative Beam Search 算法，经过实验证实其有效性。

    Sep, 2019

  • 控制耐心的束搜索解码

    在文本生成中使用 Beam Search，引入了 Patience Factor 可以提高强预训练模型在新闻文本摘要和机器翻译中的解码效果，并且只需修改一行代码即可。

    Apr, 2022