基于语言信息的多语言机器翻译束搜索解码
介绍了Grid Beam Search算法,可以在任何生成序列的模型中使用,通过词汇约束来扩展beam搜索,并且在进行交互式预测翻译和领域自适应翻译实验中表现出良好的性能提升。
Apr, 2017
该论文旨在介绍一种新的机器翻译解码算法——词汇约束解码法,该算法能够快速而准确地在输出中包含预定的单词和短语,并探索模型与BLEU得分之间的关系,与此同时它还能够极大地优化计算复杂性。
Apr, 2018
本文提出了一种灵活的新方法,利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态,以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络,它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发,但不需要强化学习,并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明,该方法可以使翻译质量和速度大大提高,超过每个基础系统。
Apr, 2018
本文提出了几种方法解决beam search的扩展导致的机器翻译质量下降的问题,讨论了这些方法的最优停止准则,并展示了无超参数方法在中英翻译中的优异表现,超过了使用长度规范化启发式方法的BLEU值2.0,并在所有方法中获得了最佳结果。
Aug, 2018
本文以神经序列模型为基础,结合Beam Search和Depth-first Search算法,提出了一种精确的推理过程,并使用该过程在WMT15英德句子翻译测试集上找到了Transformer模型的全局最佳模型分数,揭示神经模型在适当考虑翻译准确性方面存在严重问题。论文发现,Beam Search算法无法在大多数情况下找到全局最佳模型分数,很多情况下模型更倾向于返回空白翻译结果,这源自于神经模型中天然的对短句子的偏好。
Aug, 2019
本文探讨是否可以将Beam Search 替换为更强大的以度量为驱动的搜索技术。通过对多个解码算法的探索和分析,发现最佳算法取决于目标度量的特性;作者提出的基于Monte-Carlo Tree Search (MCTS)的搜索方法在语言应用中具有很高的应用价值,为今后的研究方向提供了新视角。
Apr, 2021
本研究提出了一种新的神经机器翻译(NMT)模型评估协议, 该协议基于模型的排名能力定义模型错误, 并提出了两种近似方法, 以应对指数级的假设空间, 并将其应用于各种NMT基准和模型架构, 揭示了模型的排名问题, 评估模型错误与搜索算法的相关性。
Jun, 2021
本研究分析了一种比beam search更有效的基于最小贝叶斯风险译码的决策规则,并设计了基于搜索和估计效用的成本分离近似算法,探讨了以模式为导向的策略对译文翻译的效果,实验证明这种方法在三种语言对中均能提高翻译质量。
Aug, 2021
本论文研究了如何通过采用轻量级解码器和词汇筛选来加速多语言神经机器翻译的推理速度,而不影响翻译质量,使用 BLEU 和 chrF 进行实验验证,并进行了健壮性评估和人类评估。
Sep, 2021