Apr, 2024

基于 $k$ 最近邻和自动评估的质量估计与特定模型质量估计

PDF
TL;DR我们提出了一种模型特定的无监督质量评估方法，称为 $k$NN-QE，该方法从机器翻译模型的训练数据中提取信息，并使用 $k$ 个最近邻进行评估。我们还提出了一种使用基于参考的度量标准的质量评估自动方法，并通过详细分析得出结论，MetricX-23 是最适合该任务的方法。
reference-free quality estimationmachine translationmt model's training data$k$nn-qereference-based metrics
发现论文，激发创造
  • 神经机器翻译的无监督质量评估

    提出了一种无监督方法来进行机器翻译的质量估计，该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息，并采用不确定性量化方法，实现了与人类判断质量的很好相关性，与最先进的监督质量估计模型相媲美。同时，他们还收集了第一个数据集，使得可以进行黑盒和白盒方法的质量估计的工作。

    May, 2020

  • 质量估计之穷人版：在没有参考文本的情况下预测基于参考文本的机器翻译度量

    本文提出了一种基于预训练模型的机器翻译质量评估方法，通过度量预测模型评分来进行质量评估并为人工评估模型提供预训练；实验结果表明，该方法在无需参考标准情况下依然可以上可接受的精度，但也存在一定的局限性。

    Jan, 2023

  • 推动正确按钮：对质量评估的对抗性评估

    该论文提出了一种对机器翻译中的质量评估进行敌对测试的方法，通过研究近期最优设备的评价体系，发现某些含有意义错误的翻译结果是难以被评估系统检测的。同时，该论文还研究了翻译结果保留原本含义和改变原本含义两种扰动的区别，并探讨了这种方法对于评估系统的多个领域可能产生的影响以及评估结果可行性的可比性。

    Sep, 2021

  • 多维机器翻译评估：韩语模型评估和资源

    通过提供一个英韩语言对的 1200 句 MQM 评估基准，将机器翻译评估重新定义为使用 SOTA 语言模型同时预测多个 MQM 分数的多任务问题，在参考 MT 评估和无参考质量估计（QE）设置中，我们发现无参考设置在风格维度上优于参考设置，而参考模型在准确性方面保持优势，总体上，RemBERT 是最有希望的模型。通过我们的评估，以一种更精细化、可解释的方式提供了关于翻译质量的见解。

    Mar, 2024

  • 知识蒸馏用于质量评估

    为了调整预先训练的质量评估模型的体积，将强质量评估教师模型的知识直接转移到体积更小的模型中，并结合数据增强，得到了具有 8 倍更少参数的轻量级质量评估模型。

    Jul, 2021

  • 不确定性感知的机器翻译评估

    本研究介绍了一种基于神经网络度量的机器翻译质量不确定性评估方法，并结合蒙特卡罗 dropout 和深度集成等两种不确定度估计方法，得出质量分数以及置信区间。通过对来自 QT21 数据集和 WMT20 度量任务的多语种数据进行实验，验证了该方法的性能，进一步探讨了不依赖参考文献的不确定性评估在发现可能的翻译错误中的应用。

    Sep, 2021

  • 从手工特征到 LLMs：机器翻译质量估计的简要调查

    机器翻译质量评估（MTQE）是实时估计机器翻译文本质量的任务，不需要参考翻译，对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。

    Mar, 2024

  • 无人工标注数据的质量估计

    本文提出了一种基于综合训练数据的方法，用于无需人工参与而进行机器翻译的质量评估，其在句子和单词级别预测上的性能与基于人工标注的数据训练的模型相当。

    Feb, 2021

  • 针对低资源语言的不匹配感知无监督翻译质量评估

    本文提出了一种简单的无监督翻译质量评估方法 XLMRScore，该方法基于使用 XLM-RoBERTa 模型计算的 BertScore，并讨论了使用此方法时出现的问题。接着，我们提出两种方法来缓解问题，并将所提出的方法用于四个 WMT21 QE shared task 中的低资源语言对以及本文介绍的一个新的英语 - 波斯语测试数据集。实验表明，在两个零 - shot 场景下，我们的方法可以获得与有监督基线相当的结果，即 Pearson 相关性差异小于 0.01，在所有低资源语言对中的表现均优于无监督对手，平均超过 8％。

    Jul, 2022

  • 重温循环翻译以进行质量评估

    本文介绍了一种利用语义嵌入进行往返翻译的质量估计技术，相较于以往的 WMT 2019 质量估计任务提交的方法，我们的方法与人类判断之间的相关性最高，且在往返翻译选择上表现鲁棒性较佳。此外，该方法能够针对 SMT 和 NMT 等多种类型的前向翻译模型进行一致的性能表现。

    Apr, 2020