Jun, 2024

揭示源的威力：基于源的最小贝叶斯风险解码用于神经机器翻译

PDF
TL;DR本研究提出了一种基于源的 MBR 解码方法（sMBR），利用由后向翻译生成的合成源作为 “支持假设”，以及无参考质量估计度量作为效用函数，实现了仅利用源进行 MBR 解码的首次工作。实验证明，sMBR 明显优于 QE 重排并且与标准 MBR 解码相竞争。此外，与 MBR 相比，sMBR 较少调用效用函数的次数。结果表明，sMBR 是一种有潜力提高质量的 NMT 解码方法。
neural machine translationmaximum a posteriori decodingminimum bayes risk decodingquality estimation rerankingsource-based mbr decoding
发现论文，激发创造
  • 基于神经度量的最小贝叶斯风险解码：高质量而非高模型概率

    本篇论文研究神经机器翻译，提出使用最小贝叶斯风险解码优化翻译质量度量作为一种替代推论策略来优化自动翻译质量度量，实验结果表明，使用 BLEURT 作为质量度量指标产生的质量比传统 Beam-search 输出更好。

    Nov, 2021

  • 神经机器翻译中最小贝叶斯风险解码的特性理解

    本论文探讨神经机器翻译中的偏差以及在域偏移和样本干扰下的弱点，并找到应用最小贝叶斯风险解码对抗这些问题的方案。结果表明，这个方法虽然仍有长度和频率偏差，但同样增加了模型的鲁棒性，对样本干扰和域偏移具有更好的适应能力

    May, 2021

  • 基于模型的最小贝叶斯风险解码

    在文本生成任务中，我们提出了基于模型的 MBR（MBMBR）方法，它使用模型概率本身作为概率分布的估计值，通过理论和实验证明模型估计优于蒙特卡洛估计，并且在多个文本生成任务中，包括编码 - 解码模型和大型语言模型中，MBMBR 表现优于 MBR。

    Nov, 2023

  • 机器翻译中的正则化最小贝叶斯风险重新排序框架

    该研究提出了一种基于 semantic-based similarity 和 truncating list 的在机器翻译中提高翻译质量的方法 Regularized MBR reranking framework (RMBR)。

    Mar, 2022

  • 神经机器翻译的后期最小贝叶斯风险解码

    本研究提出使用最小贝叶斯风险编解码技术 (MBR) 来消除基于 beam search 算法的模型自信度导致的输出错误，并使用 GPU 批量计算贝叶斯风险值以加速解码，并在机器翻译中验证后期 MBR 解码的优越性。

    Apr, 2017

  • 用基于采样的方法逼近最小贝叶斯风险解码在神经机器翻译中的应用

    本研究分析了一种比 beam search 更有效的基于最小贝叶斯风险译码的决策规则，并设计了基于搜索和估计效用的成本分离近似算法，探讨了以模式为导向的策略对译文翻译的效果，实验证明这种方法在三种语言对中均能提高翻译质量。

    Aug, 2021

  • MBR 和 QE 微调：训练时间中最佳和最昂贵解码方法的蒸馏

    通过在推论阶段使用高效解码算法并在训练阶段提炼质量收益，提出了 MBR（最小贝叶斯风险）微调和 QE（质量评估）微调方法，通过使用自我训练模型和外部 LLM（语言模型）作为教师模型，这些微调方法在自然语言生成（NLG）任务中达到了比人生成参考文献更好的结果，且能保持推论过程的高效性。

    Sep, 2023

  • 指尖上的质量控制：品质感知翻译模型

    在神经机器翻译模型中，提出通过自我评估来训练模型以估计其自身输出的质量，并在解码过程中使用该质量估计来指导生成过程，从而显著提高翻译质量。在最小贝叶斯风险解码中使用内部质量估计来剪枝，不仅可以进一步提高翻译质量，还可以将推理速度降低两个数量级。

    Oct, 2023

  • 线性时间最小贝叶斯风险解码与参考汇聚

    提出一种将成对度量分数近似为与聚合参考表示相对比的方法，从而将效用度量的复杂度从二次降低到线性，同时在实证中保留大部分 MBR 解码所带来的质量提升。

    Feb, 2024

  • 追随 COMET：利用最小贝叶斯风险解码实现自我改进的机器翻译

    本文研究了最小贝叶斯风险（MBR）解码在自我改进机器翻译（MT）中的应用，特别是针对领域适应和资源匮乏的语言。通过使用 COMET 作为 MBR 效用度量，我们实现了在 MBR 解码的正向翻译上微调模型的自我改进过程，旨在实现与人类偏好更为一致的翻译重新排名。该文探讨了这种方法的迭代应用和可能需要语种特定 MBR 效用度量的潜在需求。结果显示，在所有考察的语言对中，包括领域适应模型的成功应用和对资源匮乏环境的泛化，都显著提高了翻译质量。这突显了 COMET 指导的 MBR 在各种场景下实现高效 MT 自我改进的潜力。

    May, 2024