EMNLPApr, 2018

一种稳定有效的可训练贪婪解码学习策略

PDF
TL;DR本文提出了一种灵活的新方法，利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态，以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络，它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发，但不需要强化学习，并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明，该方法可以使翻译质量和速度大大提高，超过每个基础系统。
beam searchneural network decodersmachine translationactor networktranslation quality
发现论文，激发创造
  • 神经序列模型端到端训练的连续松弛束搜索

    本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

    Aug, 2017

  • 神经机器翻译的束搜索策略

    本文提出了通过改进灵活的 beam-search decoder 来加速神经机器翻译的方法，并测试表明，该方法可以提高速度，同时不影响翻译质量。

    Feb, 2017

  • 神经机器翻译的可训练贪婪解码

    本文提出了一种可训练的解码算法，通过观察和操作神经机器翻译解码器的隐藏状态来最大化任意解码目标，使用确定性策略梯度对其进行培训，在四个语言对和两个解码目标上进行广泛评估，证明我们确实可以训练出一个可训练的贪婪解码器，从而以最小的计算开销生成更好的译文。

    Feb, 2017

  • 多智能体强化学习基础束搜索跟踪

    本文提出了一种基于多智能体强化学习的射线追踪策略，称之为 BeamTracking，主要通过维护多个跟踪轨迹和应用射线搜索策略来跟踪视频中的目标。经实验证明，该策略在处理具有挑战性的追踪任务时表现出色。

    May, 2022

  • 超越束搜索的机器翻译解码

    本文探讨是否可以将 Beam Search 替换为更强大的以度量为驱动的搜索技术。通过对多个解码算法的探索和分析，发现最佳算法取决于目标度量的特性；作者提出的基于 Monte-Carlo Tree Search (MCTS) 的搜索方法在语言应用中具有很高的应用价值，为今后的研究方向提供了新视角。

    Apr, 2021

  • 基于噪声并行的条件循环语言模型近似解码

    本文主要探究了条件循环语言建模方面的一些进展和应用，提出了一个新的非常并行化的解码策略，并在诸如注意力机制和深度神经网络的领域进行了广泛的评估。

    May, 2016

  • 高效批次束搜索流式处理方法

    通过 GPU 架构上的可变长度解码，我们提出了一个高效的批处理策略。相比固定宽度梁搜索和变宽度梁搜索，我们的方法降低了运行时长，同时匹配基准的 BLEU。此外，实验证明我们的方法可以加速其他领域的解码，如语义和句法分析。

    Oct, 2020

  • 带有 Gumbel-Greedy 解码的神经机器翻译

    本文提出了一种使用 Gumbel-Greedy Decoding 训练生成网络来预测翻译的方法，该方法使用 Gumbel-Softmax 重新参数化来实现对离散单词序列的可微分训练，实验证明其有效性。

    Jun, 2017

  • 可全微分的束搜索解码器

    该研究提出了一种新的可微分束搜索解码器，通过推理过程在训练时间内进行优化，允许我们结合不同粒度的模型，并考虑两者之间的所有可能的对齐来处理未与输入序列对齐的目标序列。该系统具有端到端性，采用基于注意力机制的深度神经网络进行语音识别，而本研究表明，在训练一个声学模型的同时，联合明确且可能预训练的语言模型可以判别性地训练出一个更好的声学模型。

    Feb, 2019

  • 通过置信度放宽增强 ASR 解码

    该论文提出了一种解码过程，改进了现有的基于 beam search 的自动语音识别系统中的缺陷，特别是针对最近提出的自监督学习（SSL）模型中高度自信的预测所带来的问题，并且不需要额外的训练以及模型参数，并且在低资源场景中实现了一致的改进。

    Dec, 2022