AAAIOct, 2016

神经序列模型的多样性束搜索：解码多样性解决方案

PDF
TL;DR提出一种名为 Diverse Beam Search (DBS) 的算法，以优化多样性目标解码出一系列多样化的输出，旨在解决 Beam Search 算法在复杂人工智能任务解码过程中无法准确捕捉复杂任务本质的问题，并在图像字幕生成、机器翻译和视觉问答生成等任务中取得更好的性能表现。
neural sequence modelsbeam searchdiverse beam searchai tasksimage captioning
发现论文，激发创造
  • 神经生成的简单快速多样解码算法

    该论文提出了一种简单快速的解码算法，在神经生成过程中促进多样性，评估结果表明，多样性解码有助于各种任务，特别是在需要重新排名的任务中，并进一步提出了一种能够自动调整不同输入的多样性解码速率的变化，通过强化学习技术实现，观察到进一步的性能提升。

    Nov, 2016

  • 条件语言模型的不同解码方法比较

    调查许多分歧解码策略，在不损失质量的前提下通过过量抽样生成候选序列，并在筛选后从候选列表中生成多样化的结果。

    Jun, 2019

  • 双向束搜索：神经序列模型的前向 - 后向推理用于填空图像字幕生成

    开发 Bidirectional Beam Search（BiBS）算法来逼近推理双向神经序列模型中的 1-Best（和 M-Best）解码，并在可视化任务中验证该方法的高效性和效果。

    May, 2017

  • 神经序列模型端到端训练的连续松弛束搜索

    本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

    Aug, 2017

  • 利用句间多样性束搜索减少视觉叙事中的冗余

    本篇研究提出了一种新的基于神经网络的视觉故事生成算法，使用基于序列的图像生成结果来避免文本中出现重复的描述同时提高表达能力。

    May, 2018

  • 神经文本生成的最佳 -$k$ 搜索算法

    本文提出了一种平衡生成质量和多样性的确定性搜索算法，并在四个自然语言生成任务中进行了实验，结果表明该算法相较于强基准表现更具多样性和自然性，同时维持高生成质量。

    Nov, 2022

  • 使用网格束搜索进行序列生成的词汇约束解码

    介绍了 Grid Beam Search 算法，可以在任何生成序列的模型中使用，通过词汇约束来扩展 beam 搜索，并且在进行交互式预测翻译和领域自适应翻译实验中表现出良好的性能提升。

    Apr, 2017

  • 一种稳定有效的可训练贪婪解码学习策略

    本文提出了一种灵活的新方法，利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态，以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络，它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发，但不需要强化学习，并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明，该方法可以使翻译质量和速度大大提高，超过每个基础系统。

    Apr, 2018

  • 可全微分的束搜索解码器

    该研究提出了一种新的可微分束搜索解码器，通过推理过程在训练时间内进行优化，允许我们结合不同粒度的模型，并考虑两者之间的所有可能的对齐来处理未与输入序列对齐的目标序列。该系统具有端到端性，采用基于注意力机制的深度神经网络进行语音识别，而本研究表明，在训练一个声学模型的同时，联合明确且可能预训练的语言模型可以判别性地训练出一个更好的声学模型。

    Feb, 2019

  • 高效批次束搜索流式处理方法

    通过 GPU 架构上的可变长度解码，我们提出了一个高效的批处理策略。相比固定宽度梁搜索和变宽度梁搜索，我们的方法降低了运行时长，同时匹配基准的 BLEU。此外，实验证明我们的方法可以加速其他领域的解码，如语义和句法分析。

    Oct, 2020