基于噪声并行的条件循环语言模型近似解码
本文提出了一种灵活的新方法,利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态,以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络,它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发,但不需要强化学习,并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明,该方法可以使翻译质量和速度大大提高,超过每个基础系统。
Apr, 2018
本文提出使用雅可比和高斯 - 塞德尔迭代方法对机器翻译的标准贪心自回归解码进行并行重构,以解决 transformers 对机器翻译的效率问题,实现了速度提高,而翻译质量保持。三种并行解码算法被提出并在不同语言和模型上进行了测试,速度提升最多可达 38%,在并行资源上实现的速度几乎达到 2 倍。同时,为了更好地理解模型的条件依赖关系和检查解码过程,提出了解码依赖图可视化器(DDGviz)
May, 2023
本文提出了一种可训练的解码算法,通过观察和操作神经机器翻译解码器的隐藏状态来最大化任意解码目标,使用确定性策略梯度对其进行培训,在四个语言对和两个解码目标上进行广泛评估,证明我们确实可以训练出一个可训练的贪婪解码器,从而以最小的计算开销生成更好的译文。
Feb, 2017
本研究提出使用离散潜变量来扩展序列模型,使解码更可并行化,相对于可比较的自回归模型,我们的模型在神经机器翻译任务中解码快一个数量级,而虽然 BLEU 得分低于纯自回归模型,但比以前提出的非自回归翻译模型获得了更高的分数。
Mar, 2018
本文利用循环神经网络来参数化源模型和信道模型,将序列到序列的转移问题表述为噪声信道译码问题。实验结果表明,相较于直接模型,噪声信道模型在抽象句子摘要、形态学拐点和机器翻译方面表现更佳,并且可以从未配对的输出数据中获得显著的收益。
Nov, 2016
本研究提出了一种搜索算法,采用重构解码作为最佳优先搜索,并重新考虑了假设重组的想法,通过在搜索期间识别并合并相似的文本生成候选项,构建了许多多样化的文本生成选项,并在文本摘要和机器翻译上表现出很好的效果。
Dec, 2021