May, 2024

QUEST: 机器翻译的质量感知Metropolis-Hastings采样

HTML
PDF
TL;DR在机器翻译中，为解决生成高质量和多样化的翻译的挑战，本文采用Gibbs分布的能量函数，并通过Metropolis-Hastings算法从高密度区域生成多个样本，提供了一种简单有效的方法来避免过度依赖噪声质量估计的问题。实验结果表明，所提出的方法在多种语言对（英语↔德语、俄语）和两个强解码器单模型（Alma-7b、Tower-7b）中产生了高质量和多样化的输出。
发现论文，激发创造
  • 机器翻译质量评估中的预测不确定性探讨

    探索概率方法来提高机器翻译质量评估，提供良好的置信度估计，并通过全后验预测分布进行评估。还展示了在不对称风险的情况下如何利用后验信息，从而捕捉翻译工作流程中的典型情况。

    Jun, 2016

  • 不确定性感知的机器翻译评估

    本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗dropout和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自QT21数据集和WMT20度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

    Sep, 2021

  • 通过最小贝叶斯风险解码识别机器翻译指标的缺陷：以COMET为例的案例研究

    本论文探讨神经测量在机器翻译评估中的作用，提出最小贝叶斯风险解码策略，以消除评估的偏见，发现机器翻译中存在数字和命名实体的偏见，提供代码和数据以便未来的研究。

    Feb, 2022

  • 机器翻译中的正则化最小贝叶斯风险重新排序框架

    该研究提出了一种基于semantic-based similarity和truncating list的在机器翻译中提高翻译质量的方法 Regularized MBR reranking framework(RMBR)。

    Mar, 2022

  • 神经机器翻译质量感知解码

    机器翻译中心于神经机器翻译的MAP解码，本文提出基于近期普及的基于参考文本和无参考文本翻译质量评估研究成果，包括n-best重排序和最小贝叶斯风险解码等，实现了基于质量的神经机器翻译解码，经过多组数据集比较和人工评估，结果表明质量感知的神经机器翻译解码性能优于基于MAP的解码方法，且代码已公开。

    May, 2022

  • Epsilon Sampling Rocks: 机器翻译中最小贝叶斯风险解码的抽样策略研究

    本文研究了Minimum Bayes Risk (MBR)解码的不同采样方法对性能的影响，并通过人类评测，证明了基于epsilon采样的MBR解码在四种语言对中显著优于其他采样方法下的MBR解码和beam search解码。

    May, 2023

  • 使用符合预测分布评估机器翻译质量

    本文介绍了一种新的评估机器翻译不确定性的方法，通过同时评估翻译质量并提供可靠的置信度分数来实现。我们的方法利用符合性预测分布来生成具有保证覆盖率的预测区间，意味着对于任何给定的显著性水平，我们可以预期翻译的真实质量得分以$1-ε$的速率落在区间之外。在本文中，我们演示了我们的方法在六种不同的语言对中优于一个简单但有效的基线，从覆盖率和锐度的角度进行评估。此外，我们验证了我们的方法需要数据可交换性假设才能实现最佳性能。

    Jun, 2023

  • 指尖上的质量控制: 品质感知翻译模型

    在神经机器翻译模型中，提出通过自我评估来训练模型以估计其自身输出的质量，并在解码过程中使用该质量估计来指导生成过程，从而显著提高翻译质量。在最小贝叶斯风险解码中使用内部质量估计来剪枝，不仅可以进一步提高翻译质量，还可以将推理速度降低两个数量级。

    Oct, 2023

  • 使用大型语言模型进行翻译假设集成的实证研究

    通过对多个大型语言模型 (LLMs) 进行假设集成的研究，对于基于 LLM 的机器翻译问题，我们探讨了如何提高生成文本的质量。我们尝试了多种假设集成技术，如 ChatGPT、LLaMA 和 Alpaca，并进行了综合研究，包括生成假设的方法（多个提示、温度采样和束搜索）以及生成最终翻译的策略（基于指令、基于质量的重新排序和最小贝叶斯风险解码）。我们的研究结果表明，MBR 解码是一种非常有效的方法，使用少量样本可以提高翻译质量，指令调整对假设的多样性和采样温度之间的关系具有很大影响。

    Oct, 2023

  • 贝叶斯优化方法在机器翻译重排序中的应用

    该研究针对机器翻译系统中重排序候选列表所需的高计算成本问题提出了解决方案。研究者将重排序视为贝叶斯优化问题，通过选择一部分候选项进行评分，平衡探索与利用，显著减少了评分次数，仍然能达到与基线相当的质量评分。这一方法在提高资源利用效率的同时，显示出对机器翻译质量的潜在提升效果。

    Nov, 2024