May, 2023

Epsilon Sampling Rocks: 机器翻译中最小贝叶斯风险解码的抽样策略研究

HTML
PDF
TL;DR本文研究了Minimum Bayes Risk (MBR)解码的不同采样方法对性能的影响，并通过人类评测，证明了基于epsilon采样的MBR解码在四种语言对中显著优于其他采样方法下的MBR解码和beam search解码。
发现论文，激发创造
  • 神经机器翻译的后期最小贝叶斯风险解码

    本研究提出使用最小贝叶斯风险编解码技术(MBR)来消除基于beam search算法的模型自信度导致的输出错误，并使用GPU批量计算贝叶斯风险值以加速解码，并在机器翻译中验证后期MBR解码的优越性。

    Apr, 2017

  • 神经机器翻译中最小贝叶斯风险解码的特性理解

    本论文探讨神经机器翻译中的偏差以及在域偏移和样本干扰下的弱点，并找到应用最小贝叶斯风险解码对抗这些问题的方案。结果表明，这个方法虽然仍有长度和频率偏差，但同样增加了模型的鲁棒性，对样本干扰和域偏移具有更好的适应能力

    May, 2021

  • 用基于采样的方法逼近最小贝叶斯风险解码在神经机器翻译中的应用

    本研究分析了一种比beam search更有效的基于最小贝叶斯风险译码的决策规则，并设计了基于搜索和估计效用的成本分离近似算法，探讨了以模式为导向的策略对译文翻译的效果，实验证明这种方法在三种语言对中均能提高翻译质量。

    Aug, 2021

  • 机器翻译中的正则化最小贝叶斯风险重新排序框架

    该研究提出了一种基于semantic-based similarity和truncating list的在机器翻译中提高翻译质量的方法 Regularized MBR reranking framework(RMBR)。

    Mar, 2022

  • 神经机器翻译质量感知解码

    机器翻译中心于神经机器翻译的MAP解码，本文提出基于近期普及的基于参考文本和无参考文本翻译质量评估研究成果，包括n-best重排序和最小贝叶斯风险解码等，实现了基于质量的神经机器翻译解码，经过多组数据集比较和人工评估，结果表明质量感知的神经机器翻译解码性能优于基于MAP的解码方法，且代码已公开。

    May, 2022

  • 基于模型的最小贝叶斯风险解码

    在文本生成任务中，我们提出了基于模型的MBR（MBMBR）方法，它使用模型概率本身作为概率分布的估计值，通过理论和实验证明模型估计优于蒙特卡洛估计，并且在多个文本生成任务中，包括编码-解码模型和大型语言模型中，MBMBR表现优于MBR。

    Nov, 2023

  • 基于置信度剪枝的更快最小贝叶斯风险解码

    在最小贝叶斯风险解码中，通过逐渐增加样本数来估计效用，并使用基于自助法的抽样获得的置信度估计来剪除不太可能具有最高效用的假设，从而在准确性方面与标准MBR无显著差异的情况下，需要较少的样本并大幅减少效用函数调用次数。

    Nov, 2023

  • 快速最小贝叶斯风险解码的无超参数方法

    通过使用相关顺序减半算法来近似计算基于样本的最小贝叶斯风险目标，我们提出了一种不需要超参数调整的AMBR解码方法，该方法在机器翻译、文本摘要和图像字幕任务上与CBP方法相当。

    Jan, 2024

  • 关于最小贝叶斯风险解码真实分布逼近

    使用异常检测来衡量最小贝叶斯风险解码的核心假设与性能之间的联系。

    Mar, 2024

  • 揭示源的威力：基于源的最小贝叶斯风险解码用于神经机器翻译

    本研究提出了一种基于源的MBR解码方法（sMBR），利用由后向翻译生成的合成源作为“支持假设”，以及无参考质量估计度量作为效用函数，实现了仅利用源进行MBR解码的首次工作。实验证明，sMBR明显优于QE重排并且与标准MBR解码相竞争。此外，与MBR相比，sMBR较少调用效用函数的次数。结果表明，sMBR是一种有潜力提高质量的NMT解码方法。

    Jun, 2024