Mar, 2024

从手工特征到LLMs：机器翻译质量估计的简要调查

HTML
PDF
TL;DR机器翻译质量评估（MTQE）是实时估计机器翻译文本质量的任务，不需要参考翻译，对机器翻译的发展非常重要。本文综述了质量评估数据集、标注方法、共享任务、方法学、挑战和未来研究方向。
发现论文，激发创造
  • 机器翻译质量估计的实用视角

    本研究旨在提高机器翻译句子水平的翻译编辑速率预测，提出了句子水平的质量分类（QC）观点，以优化召回率，并通过二进制分类器的使用可将后编辑工作量减少至50-60％。

    May, 2020

  • 神经机器翻译的无监督质量评估

    提出了一种无监督方法来进行机器翻译的质量估计，该方法不需要大量专家注释数据、计算和时间来训练。该方法通过从机器翻译系统中提取有用的信息，并采用不确定性量化方法，实现了与人类判断质量的很好相关性，与最先进的监督质量估计模型相媲美。同时，他们还收集了第一个数据集，使得可以进行黑盒和白盒方法的质量估计的工作。

    May, 2020

  • MLQE-PE: 多语言质量估计和后编辑数据集

    MLQE-PE为机器翻译质量评估和自动后编辑提供了新数据集，包含11种语言对，针对每种语言对的10000个翻译提供了人类标签，包括句子级别的直接评估和后编辑努力以及单词级别的好/坏标签，同时还提供了后编辑的句子、标题以及用于翻译文本的神经机器翻译模型。

    Oct, 2020

  • DirectQE: 机器翻译质量估计的直接预训练

    本文提出 DirectQE 框架，通过直接预训练来提高机器翻译质量估计（QE）任务的性能，其中生成器训练产生更接近真实 QE 数据的伪数据，检测器使用类似 QE 任务的新目标在这些数据上进行预先训练。在广泛使用的基准测试中，DirectQE 胜过现有方法，而且没有使用任何预训练模型，如 BERT。

    May, 2021

  • 基于分类的质量评估：用于实际应用的小型高效模型

    我们研究了句子级机器翻译的质量估计(QE)问题，发现传统的基于回归的方法以及基于压缩模型的方法都不能很好地解决实际应用中的问题，而基于分类的方法可以更好地反映他们在实际应用中的性能表现。

    Sep, 2021

  • 推动正确按钮：对质量评估的对抗性评估

    该论文提出了一种对机器翻译中的质量评估进行敌对测试的方法，通过研究近期最优设备的评价体系，发现某些含有意义错误的翻译结果是难以被评估系统检测的。同时，该论文还研究了翻译结果保留原本含义和改变原本含义两种扰动的区别，并探讨了这种方法对于评估系统的多个领域可能产生的影响以及评估结果可行性的可比性。

    Sep, 2021

  • 基于扰动的质量评估: 一种可解释的无监督词级别黑盒机器翻译质量评估方法

    本研究提出基于扰动的无监督学习方法，用于评估黑盒机器翻译模型的质量，表现出更好的泛化能力和解释性。

    May, 2023

  • 使用精调的OpenAI LLM预测机器翻译输出中的完美质量段落：是否能从历史数据中捕捉编辑距离模式？

    大型语言模型可进行细调从而在翻译质量评估方面取得较高的预测准确性。

    Jul, 2023

  • 没有比更好的数据更好的数据：使用质量度量对MT数据进行过滤

    使用质量评估（QE）指标过滤训练数据的句子对可以提高翻译质量并减少训练规模一半。

    Nov, 2023

  • 基于$k$最近邻和自动评估的质量估计与特定模型质量估计

    我们提出了一种模型特定的无监督质量评估方法，称为$k$NN-QE，该方法从机器翻译模型的训练数据中提取信息，并使用$k$个最近邻进行评估。我们还提出了一种使用基于参考的度量标准的质量评估自动方法，并通过详细分析得出结论，MetricX-23是最适合该任务的方法。

    Apr, 2024