Aug, 2023

关于文本生成中的束搜索与穷举搜索之间的深度

PDF
TL;DR本文研究了文本解码算法中搜索深度的两个极端，束搜索和穷举搜索，并介绍了 Lookahead Beam Search (LBS) 作为二者的优化方法。实验证明，LBS 在机器翻译任务中表现优于束搜索，启示我们可以通过更深入的搜索提高束搜索的性能。受此分析启发，我们提出了一种计算可行的搜索算法，Lookbehind Heuristic Beam Search，并在机器翻译和文本摘要任务上展示了其超越束搜索的效果。
发现论文，激发创造
  • 神经文本生成的最优光束搜索（以光束大小为模）何时结束？

    本文提出了一种可证明为最优的波束搜索算法，该算法可用于神经文本生成中，如神经机器翻译、摘要和图像字幕生成，通过引入有界长度奖励机制，避免了短假设的问题并提高了 BLEU 分数。

    Aug, 2018

  • 最佳优先束搜索

    本文提出了一种有效启发式算法，用于近似搜索全输出空间中最佳解，解决了诸多自然语言处理任务中的难点问题，并为非单调性得分函数设计了有效的单调逼近方法，提出了一种内存缩减变体的最佳优先搜索，具有类似的有利搜索偏差，并在时限内运行。

    Jul, 2020

  • 神经文本生成的最佳 -$k$ 搜索算法

    本文提出了一种平衡生成质量和多样性的确定性搜索算法，并在四个自然语言生成任务中进行了实验，结果表明该算法相较于强基准表现更具多样性和自然性，同时维持高生成质量。

    Nov, 2022

  • 束搜索：更快速和单调

    本文提出了通过引入 monotonic beam search 算法和距离估计来提高 beam search 算法的实际效率。

    Apr, 2022

  • 双向束搜索：神经序列模型的前向 - 后向推理用于填空图像字幕生成

    开发 Bidirectional Beam Search（BiBS）算法来逼近推理双向神经序列模型中的 1-Best（和 M-Best）解码，并在可视化任务中验证该方法的高效性和效果。

    May, 2017

  • 神经序列模型的多样性束搜索：解码多样性解决方案

    提出一种名为 Diverse Beam Search (DBS) 的算法，以优化多样性目标解码出一系列多样化的输出，旨在解决 Beam Search 算法在复杂人工智能任务解码过程中无法准确捕捉复杂任务本质的问题，并在图像字幕生成、机器翻译和视觉问答生成等任务中取得更好的性能表现。

    Oct, 2016

  • 推测性波束搜索用于同时翻译

    本文研究了如何在同时翻译领域使用 Beam Search 算法，提出了一种基于预测的 Speculative Beam Search 算法，经过实验证实其有效性。

    Sep, 2019

  • 控制耐心的束搜索解码

    在文本生成中使用 Beam Search，引入了 Patience Factor 可以提高强预训练模型在新闻文本摘要和机器翻译中的解码效果，并且只需修改一行代码即可。

    Apr, 2022

  • 神经序列模型端到端训练的连续松弛束搜索

    本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

    Aug, 2017

  • 突破束缚搜索：关于神经机器翻译评分方法和停止准则的研究

    本文提出了几种方法解决 beam search 的扩展导致的机器翻译质量下降的问题，讨论了这些方法的最优停止准则，并展示了无超参数方法在中英翻译中的优异表现，超过了使用长度规范化启发式方法的 BLEU 值 2.0，并在所有方法中获得了最佳结果。

    Aug, 2018