用基于采样的方法逼近最小贝叶斯风险解码在神经机器翻译中的应用
本研究提出使用最小贝叶斯风险编解码技术(MBR)来消除基于beam search算法的模型自信度导致的输出错误,并使用GPU批量计算贝叶斯风险值以加速解码,并在机器翻译中验证后期MBR解码的优越性。
Apr, 2017
论文针对神经机器翻译 (NMT) 系统中出现的一些问题进行了研究,发现这些问题主要与最大后验概率推断 (MAP) 解码以及解码过程中使用的决策规则有关,而非 NMT 的统计假设或最大似然估计算法。作者倡导使用考虑翻译分布整体性的决策规则,证明了最小贝叶斯风险解码的近似方法具有良好的效果。
May, 2020
本文探讨是否可以将Beam Search 替换为更强大的以度量为驱动的搜索技术。通过对多个解码算法的探索和分析,发现最佳算法取决于目标度量的特性;作者提出的基于Monte-Carlo Tree Search (MCTS)的搜索方法在语言应用中具有很高的应用价值,为今后的研究方向提供了新视角。
Apr, 2021
本论文探讨神经机器翻译中的偏差以及在域偏移和样本干扰下的弱点,并找到应用最小贝叶斯风险解码对抗这些问题的方案。结果表明,这个方法虽然仍有长度和频率偏差,但同样增加了模型的鲁棒性,对样本干扰和域偏移具有更好的适应能力
May, 2021
该研究提出了一种基于semantic-based similarity和truncating list的在机器翻译中提高翻译质量的方法 Regularized MBR reranking framework(RMBR)。
Mar, 2022
机器翻译中心于神经机器翻译的MAP解码,本文提出基于近期普及的基于参考文本和无参考文本翻译质量评估研究成果,包括n-best重排序和最小贝叶斯风险解码等,实现了基于质量的神经机器翻译解码,经过多组数据集比较和人工评估,结果表明质量感知的神经机器翻译解码性能优于基于MAP的解码方法,且代码已公开。
May, 2022
本文研究了Minimum Bayes Risk (MBR)解码的不同采样方法对性能的影响,并通过人类评测,证明了基于epsilon采样的MBR解码在四种语言对中显著优于其他采样方法下的MBR解码和beam search解码。
May, 2023
在最小贝叶斯风险解码中,通过逐渐增加样本数来估计效用,并使用基于自助法的抽样获得的置信度估计来剪除不太可能具有最高效用的假设,从而在准确性方面与标准MBR无显著差异的情况下,需要较少的样本并大幅减少效用函数调用次数。
Nov, 2023
本研究提出了一种基于源的MBR解码方法(sMBR),利用由后向翻译生成的合成源作为“支持假设”,以及无参考质量估计度量作为效用函数,实现了仅利用源进行MBR解码的首次工作。实验证明,sMBR明显优于QE重排并且与标准MBR解码相竞争。此外,与MBR相比,sMBR较少调用效用函数的次数。结果表明,sMBR是一种有潜力提高质量的NMT解码方法。
Jun, 2024