神经文本生成的最佳 -$k$ 搜索算法
本文提出了一种有效启发式算法,用于近似搜索全输出空间中最佳解,解决了诸多自然语言处理任务中的难点问题,并为非单调性得分函数设计了有效的单调逼近方法,提出了一种内存缩减变体的最佳优先搜索,具有类似的有利搜索偏差,并在时限内运行。
Jul, 2020
提出一种名为 Diverse Beam Search (DBS) 的算法,以优化多样性目标解码出一系列多样化的输出,旨在解决 Beam Search 算法在复杂人工智能任务解码过程中无法准确捕捉复杂任务本质的问题,并在图像字幕生成、机器翻译和视觉问答生成等任务中取得更好的性能表现。
Oct, 2016
本文提出了一种可证明为最优的波束搜索算法,该算法可用于神经文本生成中,如神经机器翻译、摘要和图像字幕生成,通过引入有界长度奖励机制,避免了短假设的问题并提高了 BLEU 分数。
Aug, 2018
本研究提出了一种搜索算法,采用重构解码作为最佳优先搜索,并重新考虑了假设重组的想法,通过在搜索期间识别并合并相似的文本生成候选项,构建了许多多样化的文本生成选项,并在文本摘要和机器翻译上表现出很好的效果。
Dec, 2021
本文研究了文本解码算法中搜索深度的两个极端,束搜索和穷举搜索,并介绍了 Lookahead Beam Search (LBS) 作为二者的优化方法。实验证明,LBS 在机器翻译任务中表现优于束搜索,启示我们可以通过更深入的搜索提高束搜索的性能。受此分析启发,我们提出了一种计算可行的搜索算法,Lookbehind Heuristic Beam Search,并在机器翻译和文本摘要任务上展示了其超越束搜索的效果。
Aug, 2023
该研究提出并评估了一种从完整数据学习贝叶斯网络的 k 贪婪等价搜索算法(KES),其主要特点在于允许贪婪性和随机性之间的权衡,从而探索不同的好的局部最优解。实验结果表明,KES 经常比贪婪等价搜索算法(GES)找到更好的局部最优解。
Oct, 2012
该论文提出了一种简单快速的解码算法,在神经生成过程中促进多样性,评估结果表明,多样性解码有助于各种任务,特别是在需要重新排名的任务中,并进一步提出了一种能够自动调整不同输入的多样性解码速率的变化,通过强化学习技术实现,观察到进一步的性能提升。
Nov, 2016
应用 Gumbel-Top-k 技巧和分解可重复采样,使用随机束搜索进行无重复抽样序列模型的研究,发现序列采样中存在随机束搜索和确定性束搜索之间的理论联系,这一方法在翻译任务中表现优异,且采样无重复序列可用于构造期望 BLEU 得分和模型熵的低方差估计。
Mar, 2019
本文探讨是否可以将 Beam Search 替换为更强大的以度量为驱动的搜索技术。通过对多个解码算法的探索和分析,发现最佳算法取决于目标度量的特性;作者提出的基于 Monte-Carlo Tree Search (MCTS) 的搜索方法在语言应用中具有很高的应用价值,为今后的研究方向提供了新视角。
Apr, 2021