ACLMay, 2022

神经机器翻译质量感知解码

PDF
TL;DR机器翻译中心于神经机器翻译的 MAP 解码，本文提出基于近期普及的基于参考文本和无参考文本翻译质量评估研究成果，包括 n-best 重排序和最小贝叶斯风险解码等，实现了基于质量的神经机器翻译解码，经过多组数据集比较和人工评估，结果表明质量感知的神经机器翻译解码性能优于基于 MAP 的解码方法，且代码已公开。
machine translationquality-aware decodingneural machine translationnmt evaluationmap decoding
发现论文，激发创造
  • 指尖上的质量控制：品质感知翻译模型

    在神经机器翻译模型中，提出通过自我评估来训练模型以估计其自身输出的质量，并在解码过程中使用该质量估计来指导生成过程，从而显著提高翻译质量。在最小贝叶斯风险解码中使用内部质量估计来剪枝，不仅可以进一步提高翻译质量，还可以将推理速度降低两个数量级。

    Oct, 2023

  • MAP 译码足矣吗？神经机器翻译中模式的不足

    论文针对神经机器翻译 (NMT) 系统中出现的一些问题进行了研究，发现这些问题主要与最大后验概率推断 (MAP) 解码以及解码过程中使用的决策规则有关，而非 NMT 的统计假设或最大似然估计算法。作者倡导使用考虑翻译分布整体性的决策规则，证明了最小贝叶斯风险解码的近似方法具有良好的效果。

    May, 2020

  • 基于短语的强制解码改进神经机器翻译

    本研究提出了一种将传统 SMT 模型与神经机器翻译相结合的方法，从而提高翻译质量。该方法利用现有的基于短语的 SMT 模型计算基于短语的解码成本，并将其用于重新排列 n 个最佳 NMT 输出。研究表明，利用强制解码成本对 NMT 输出进行排序可以成功提高四种不同语言的翻译质量。

    Nov, 2017

  • 基于神经度量的最小贝叶斯风险解码：高质量而非高模型概率

    本篇论文研究神经机器翻译，提出使用最小贝叶斯风险解码优化翻译质量度量作为一种替代推论策略来优化自动翻译质量度量，实验结果表明，使用 BLEURT 作为质量度量指标产生的质量比传统 Beam-search 输出更好。

    Nov, 2021

  • 能力感知神经机器翻译：机器翻译是否可以知道自己的翻译质量？

    本文提出了一种新的能力感知神经机器翻译方法，通过自估计器扩展传统神经机器翻译，使其具备翻译源句子和估计其能力的能力，在四项翻译任务上取得了卓越的表现，并显示出与人类质量判断的高相关性。

    Nov, 2022

  • 不确定性感知的机器翻译评估

    本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗 dropout 和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自 QT21 数据集和 WMT20 度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

    Sep, 2021

  • MBR 和 QE 微调：训练时间中最佳和最昂贵解码方法的蒸馏

    通过在推论阶段使用高效解码算法并在训练阶段提炼质量收益，提出了 MBR（最小贝叶斯风险）微调和 QE（质量评估）微调方法，通过使用自我训练模型和外部 LLM（语言模型）作为教师模型，这些微调方法在自然语言生成（NLG）任务中达到了比人生成参考文献更好的结果，且能保持推论过程的高效性。

    Sep, 2023

  • QUEST: 机器翻译的质量感知 Metropolis-Hastings 采样

    在机器翻译中，为解决生成高质量和多样化的翻译的挑战，本文采用 Gibbs 分布的能量函数，并通过 Metropolis-Hastings 算法从高密度区域生成多个样本，提供了一种简单有效的方法来避免过度依赖噪声质量估计的问题。实验结果表明，所提出的方法在多种语言对（英语↔德语、俄语）和两个强解码器单模型（Alma-7b、Tower-7b）中产生了高质量和多样化的输出。

    May, 2024

  • 基于充分性导向学习的神经机器翻译

    通过基于强化学习的翻译策略，以翻译的充分性为奖励，提高神经机器翻译模型的翻译效果。

    Nov, 2018

  • 揭示源的威力：基于源的最小贝叶斯风险解码用于神经机器翻译

    本研究提出了一种基于源的 MBR 解码方法（sMBR），利用由后向翻译生成的合成源作为 “支持假设”，以及无参考质量估计度量作为效用函数，实现了仅利用源进行 MBR 解码的首次工作。实验证明，sMBR 明显优于 QE 重排并且与标准 MBR 解码相竞争。此外，与 MBR 相比，sMBR 较少调用效用函数的次数。结果表明，sMBR 是一种有潜力提高质量的 NMT 解码方法。

    Jun, 2024