束搜索:更快速和单调
本文提出了一种有效启发式算法,用于近似搜索全输出空间中最佳解,解决了诸多自然语言处理任务中的难点问题,并为非单调性得分函数设计了有效的单调逼近方法,提出了一种内存缩减变体的最佳优先搜索,具有类似的有利搜索偏差,并在时限内运行。
Jul, 2020
任何时候启发式搜索算法试图尽快找到一个(潜在的次优解)并努力寻找越来越好的解决方案,直到获得一个最优解或时间用尽。本文提出了一种新的算法,矩形搜索,它基于广度优先搜索的一种变体束搜索,重复地在所有深度层面上探索替代方案,因此最适用于具有深度局部极小值的问题。使用多种流行的搜索基准进行的实验表明,矩形搜索与固定宽度束搜索相竞争,并且通常比先前最好的任何时候搜索算法表现更好。
Dec, 2023
本文提出了一种可证明为最优的波束搜索算法,该算法可用于神经文本生成中,如神经机器翻译、摘要和图像字幕生成,通过引入有界长度奖励机制,避免了短假设的问题并提高了 BLEU 分数。
Aug, 2018
本文研究了文本解码算法中搜索深度的两个极端,束搜索和穷举搜索,并介绍了 Lookahead Beam Search (LBS) 作为二者的优化方法。实验证明,LBS 在机器翻译任务中表现优于束搜索,启示我们可以通过更深入的搜索提高束搜索的性能。受此分析启发,我们提出了一种计算可行的搜索算法,Lookbehind Heuristic Beam Search,并在机器翻译和文本摘要任务上展示了其超越束搜索的效果。
Aug, 2023
本文提出了几种方法解决 beam search 的扩展导致的机器翻译质量下降的问题,讨论了这些方法的最优停止准则,并展示了无超参数方法在中英翻译中的优异表现,超过了使用长度规范化启发式方法的 BLEU 值 2.0,并在所有方法中获得了最佳结果。
Aug, 2018
在文本生成中使用 Beam Search,引入了 Patience Factor 可以提高强预训练模型在新闻文本摘要和机器翻译中的解码效果,并且只需修改一行代码即可。
Apr, 2022
利用多臂老虎机的前置探索方法,提出了一种基于自相关和异方性的快速 beam 对齐算法,通过聚类后对 beam 集合中的 beam 进行快速对齐。该算法在毫米波通信系统中,具有显著优越性。
Oct, 2022
本文研究了如何在同时翻译领域使用 Beam Search 算法,提出了一种基于预测的 Speculative Beam Search 算法,经过实验证实其有效性。
Sep, 2019
为了解决程序综合中搜索空间膨胀的问题,我们提出了 CrossBeam,它训练一个神经模型来学习自底向上的搜索策略,从而更加高效地探索程序空间。我们在字符串操作和逻辑编程领域实验后发现,CrossBeam 学会了高效搜索,相比最先进的技术,它探索了更小的程序空间。
Mar, 2022