本研究提出使用最小贝叶斯风险编解码技术(MBR)来消除基于beam search算法的模型自信度导致的输出错误,并使用GPU批量计算贝叶斯风险值以加速解码,并在机器翻译中验证后期MBR解码的优越性。
Apr, 2017
论文针对神经机器翻译 (NMT) 系统中出现的一些问题进行了研究,发现这些问题主要与最大后验概率推断 (MAP) 解码以及解码过程中使用的决策规则有关,而非 NMT 的统计假设或最大似然估计算法。作者倡导使用考虑翻译分布整体性的决策规则,证明了最小贝叶斯风险解码的近似方法具有良好的效果。
May, 2020
本论文探讨神经机器翻译中的偏差以及在域偏移和样本干扰下的弱点,并找到应用最小贝叶斯风险解码对抗这些问题的方案。结果表明,这个方法虽然仍有长度和频率偏差,但同样增加了模型的鲁棒性,对样本干扰和域偏移具有更好的适应能力
May, 2021
本研究提出了一种新的神经机器翻译(NMT)模型评估协议, 该协议基于模型的排名能力定义模型错误, 并提出了两种近似方法, 以应对指数级的假设空间, 并将其应用于各种NMT基准和模型架构, 揭示了模型的排名问题, 评估模型错误与搜索算法的相关性。
Jun, 2021
本研究分析了一种比beam search更有效的基于最小贝叶斯风险译码的决策规则,并设计了基于搜索和估计效用的成本分离近似算法,探讨了以模式为导向的策略对译文翻译的效果,实验证明这种方法在三种语言对中均能提高翻译质量。
Aug, 2021
本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法,并结合蒙特卡罗dropout和深度集成等两种不确定度估计方法,得出质量分数以及置信区间。通过对来自QT21数据集和WMT20度量任务的多语种数据进行实验,验证了该方法的性能,进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。
Sep, 2021
该研究提出了一种基于semantic-based similarity和truncating list的在机器翻译中提高翻译质量的方法 Regularized MBR reranking framework(RMBR)。
Mar, 2022
在神经机器翻译模型中,提出通过自我评估来训练模型以估计其自身输出的质量,并在解码过程中使用该质量估计来指导生成过程,从而显著提高翻译质量。在最小贝叶斯风险解码中使用内部质量估计来剪枝,不仅可以进一步提高翻译质量,还可以将推理速度降低两个数量级。
Oct, 2023
在机器翻译中,为解决生成高质量和多样化的翻译的挑战,本文采用Gibbs分布的能量函数,并通过Metropolis-Hastings算法从高密度区域生成多个样本,提供了一种简单有效的方法来避免过度依赖噪声质量估计的问题。实验结果表明,所提出的方法在多种语言对(英语↔德语、俄语)和两个强解码器单模型(Alma-7b、Tower-7b)中产生了高质量和多样化的输出。
May, 2024
本研究提出了一种基于源的MBR解码方法(sMBR),利用由后向翻译生成的合成源作为“支持假设”,以及无参考质量估计度量作为效用函数,实现了仅利用源进行MBR解码的首次工作。实验证明,sMBR明显优于QE重排并且与标准MBR解码相竞争。此外,与MBR相比,sMBR较少调用效用函数的次数。结果表明,sMBR是一种有潜力提高质量的NMT解码方法。
Jun, 2024